Amodei предлагает внешних оценщиков, общие стандарты и сотрудничество с правительством для AI‑безопасности
Обострилась дискуссия о конфликте между мотивацией AI-компаний и общественной безопасностью: был представлен взгляд, согласно которому следует разделять сомнение в корпоративных интересах и отрицание самих AI-рисков.
Суть спора
Steve Eisman раскритиковал AI-компании за раздувание кризиса. Demetri Kofinas заявил, что нужно различать постановку вопроса о корпоративных мотивах и оценку рисков контроля над AI.
Стратегия и мотивация лидирующих лабораторий
Kofinas проанализировал, что ведущие лаборатории соревнуются, пытаясь достичь сверхинтеллекта и рекурсивного самоулучшения до того, как у них иссякнут средства. Высокие расходы могут служить стимулом к поиску сотрудничества с государством — такова предложенная интерпретация.
Губернативность и интересы
Переплетаются интересы техно-финансового капитала, органов национальной безопасности, политиков и граждан. Есть риск, что сотрудничество по вопросам безопасности будет спроектировано так, чтобы защитить существующее положение компаний, а мнение граждан окажется исключенным из процесса принятия решений.
Содержание предложения Anthropic и различение интерпретаций
Anthropic предложила разместить постоянно присутствующих внешних оценщиков, установить общие для отрасли стандарты безопасности и развивать межправительственное сотрудничество. Цель — обеспечить время для проверки безопасности. Следует отделять явное содержание предложения от взгляда, трактующего его как переговоры о получении финансирования и укреплении лидерства.
Ценности поколений и восприятие рисков
Kofinas отметил, что выбор в пользу сохранения стоимости существующих активов не гарантирует экономические возможности для следующего поколения. При этом он подчеркнул, что критика интересов не может служить основанием для умаления рисков, связанных с контролем над AI.
Критерии оценки
Нужно проверять обоснованность рисков, оценивать эффективность мер реагирования и анализировать распределение затрат и выгод: растут ли котировки, становится ли AI безопаснее, распространяются ли общественные блага.
