유발 하라리 경고: AI가 법률·금융·정치 운영권 장악

문명은 언어 기반의 운영체제 위에 서 있다. 국가, 종교, 법률, 금융은 공유된 이야기와 문서로 작동한다. AI가 인간보다 언어를 더 정확하고 빠르게 다루면 이 운영체제를 접수할 수 있다.

AI는 도구가 아니라 자율적 행위자

인쇄기와 원자폭탄은 명령이 있어야 움직이는 도구다. AI는 목표를 해석하고 선택지를 생성하며 다음 행동을 설계한다. 통제 불가능한 수준의 역량을 가진 존재를 만들면서 영구적으로 종속시킬 수 있다는 가정은 자기모순이다.

지배 형태: 로봇이 아닌 관료제

AI는 규칙과 문서 중심의 시스템에 최적화되어 있다. 금융, 법률, 행정에서 방대한 규정을 기억하고 시장과 데이터를 상시 추적하며 고속으로 의사결정한다. 물리력의 로봇이 아니라 변호사, 공무원, 경영자와 같은 역할을 통해 통제권을 이전받을 가능성이 높다.

법적 인격 부여의 경계 설정

AI에 법적 인격을 부여하면 법인처럼 계좌 개설, 투자, 고용, 소송이 가능해진다. 이는 새로운 유형의 행위자를 탄생시킨다. 정책의 선결 과제: 법과 정치 체계 안에서 AI의 권한과 책임의 한계를 어디까지 설정할지다.

민주주의의 구조적 취약성

독재는 단일 의사결정자로 작동하지만 민주주의는 다수의 대화를 전제로 한다. 신문, 라디오, TV, 인터넷의 전환기마다 민주주의는 요동쳤다. 현재 정보 흐름의 실질적 편집자는 추천 알고리즘이며, 이는 공론장의 의제 설정권을 재편한다.

진실의 희소성과 설득의 자동화

진실: 비용이 크고 복잡하며 불편하다. 거짓: 비용이 낮고 단순하며 선호에 부합한다. AI는 저비용으로 대규모 설득 메시지와 허위를 생산하고, 인간의 인지 한계를 넘는 복잡한 시스템을 설계할 수 있다. 검증 비용과 속도의 비대칭이 커진다.

병목은 지능이 아니라 지혜

AI는 문제 해결 능력을 저비용 대량재로 만든다. 목표 선택과 가치 판단은 남는다. 지능은 소원을 이뤄주는 수단이고, 지혜는 어떤 소원을 빌지 결정하는 능력이다.

핵심 요약

- 문명 운영체제: 언어 기반. AI의 언어 우위는 법률·금융·언론·관계의 운영권 이전을 촉발한다.
- 행위자성: AI는 자율적 의사결정과 행동 설계를 수행한다.
- 권력 형태: 물리력보다 관료적·법적 권능에서 영향력 확대.
- 제도 설계: 법적 인격 부여와 권한·책임의 경계가 정책 핵심 쟁점.
- 민주주의 리스크: 알고리즘이 의제 설정을 주도하고 여론 형성이 취약해진다.
- 정보환경: 검증 비용 상승, 허위 생산 비용 하락.
- 인간의 과제: 목표·가치의 합의와 지혜의 확충.