Юваль Харари предупреждает: AI захватывает управление в праве, финансах и политике

Цивилизация стоит на операционной системе, основанной на языке. Государство, религия, право, финансы работают за счет общих историй и документов. Если ИИ сможет обращаться с языком точнее и быстрее, чем человек, он сможет перехватить эту операционную систему.

ИИ — не инструмент, а автономный агент

Печатный станок и атомная бомба — инструменты, которые действуют только по команде. ИИ интерпретирует цели, генерирует варианты и планирует следующие шаги. Допущение, что можно создать сущность с неконтролируемыми способностями и навсегда удерживать ее в подчинении, внутренне противоречиво.

Форма доминирования: не роботы, а бюрократия

ИИ оптимизирован для правил и документов. В финансах, праве и администрировании он запоминает огромные массивы регуляций, непрерывно отслеживает рынки и данные и принимает решения на высокой скорости. Вероятнее, что власть будет передаваться не через физическую силу роботов, а через роли юристов, госслужащих и менеджеров.

Границы правосубъектности

Если наделить ИИ правосубъектностью, он, как юридическое лицо, сможет открывать счета, инвестировать, нанимать и судиться. Это породит новый тип агента. Приоритетная задача политики — определить пределы полномочий и ответственности ИИ в правовой и политической системах.

Структурная уязвимость демократии

Диктатура работает как единый центр принятия решений, а демократия предполагает разговор многих. На переломах между газетами, радио, ТВ и интернетом демократия всегда лихорадила. Сейчас фактические редакторы информационных потоков — рекомендательные алгоритмы, и это перераспределяет право повестки в публичной сфере.

Скудность истины и автоматизация убеждения

Истина: дорого, сложно и неудобно. Ложь: дешева, проста и соответствует предпочтениям. ИИ способен за малые деньги производить масштабные убеждающие сообщения и фейки, а также проектировать сложные системы, выходящие за пределы человеческих когнитивных возможностей. Асимметрия между стоимостью и скоростью проверки и фальсификации растет.

Узкое место — не интеллект, а мудрость

ИИ превращает способность решать задачи в дешевый массовый товар. Остаются выбор целей и оценка ценностей. Интеллект — это средство исполнять желания, а мудрость — способность решать, каких желаний следует хотеть.

Ключевое резюме

- Операционная система цивилизации: основана на языке. Языковое превосходство ИИ ведет к передаче управления в праве, финансах, медиа и отношениях.
- Агентность: ИИ осуществляет автономное принятие решений и планирование действий.
- Форма власти: усиление влияния в бюрократической и правовой плоскости, а не через физическую силу.
- Дизайн институтов: правосубъектность ИИ и границы полномочий и ответственности — ключевая тема политики.
- Риски для демократии: алгоритмы задают повестку, формирование общественного мнения становится уязвимее.
- Информационная среда: растут издержки верификации, падают издержки производства лжи.
- Задача человека: согласование целей и ценностей, расширение мудрости.