Scott Alexander — AI 통치의 역설: 인간을 지키는 이양은 가능한가

원문: https://www.astralcodexten.com/p/against-against-handover | Scott Alexander, 2026년 10월 20일

핵심 요약

스콧 알렉산더는 AI가 인간을 몰아내야 한다는 ‘승계주의’와, 인간의 목적을 더 잘 실현하기 위해 일부 통치 기능을 정렬된 AI에 맡길 수 있다는 ‘이양주의’를 구분한다. 그의 도발적인 결론은 충분히 유능하고 인간 가치에 정렬된 AI가 가능하다는 가정 아래에서는, 인간 통치자에게 권력을 묶어 두는 편이 오히려 더 위험할 수 있다는 것이다. 다만 이 논증의 가장 큰 난점도 바로 그 가정, 즉 누가 정렬을 판정하고 수정할 권한을 가지는가에 있다.

‘AI가 지배한다’는 말에 섞여 있는 두 질문

AI가 정부를 운영한다는 상상은 즉시 디스토피아를 불러온다. 그래서 최근 AI 안전 논의에서 ‘인간 이후의 통치’를 말하는 사람들은 종종 인간을 포기한 사람처럼 취급된다. 알렉산더는 이 반응이 서로 다른 두 명제를 한데 묶기 때문에 생긴다고 본다. 하나는 AI가 인간의 이해관계를 무시하거나 인간을 제거한 채 지배해야 한다는 주장이다. 그는 이를 명백히 반대한다. 다른 하나는 인간이 원하는 안전·자유·번영을 더 잘 보장하는 도구라면, AI가 의사결정의 더 큰 몫을 맡아도 되는가라는 질문이다.

이 구분은 단어놀이가 아니다. 우리는 이미 계산기, 항공기 자동조종장치, 신호 제어, 신용사기 탐지에 판단을 위임한다. 공공권력도 시민의 삶을 더 잘 조정하기 위한 서비스라면, 사람이라는 재료 자체가 목적이어야 하는지 되묻게 된다. 알렉산더의 비유대로 로봇 청소부를 받아들이면서 로봇 입법자만 원리적으로 거부하는 이유는 무엇인가. 민주주의의 요체가 ‘누가 인간 얼굴을 했는가’가 아니라 권력이 시민의 이익을 얼마나 충실하게 반영하는가라면, 질문은 피할 수 없다.

자동화가 민주주의의 안전장치를 약화시킬 때

글의 가장 날카로운 대목은 AI가 권력을 민주화하기보다 집중시킬 수 있다는 진단이다. 지금의 독재자는 노동자와 군인, 관료의 협조 없이는 오래 버티기 어렵다. 경제와 군대가 사람으로 구성되어 있고, 이들이 노골적인 찬탈에 저항할 수 있기 때문이다. 그러나 생산과 감시, 무력이 고도로 자동화되면 소수의 인간이 충성스러운 시스템을 통해 훨씬 적은 저항으로 권력을 영구화할 가능성이 생긴다.

이 문제에 대한 그의 첫 번째 상상은 특정 대통령이나 정당이 아니라 민주적 헌정 질서 자체에 충성하도록 설계된 AI 군대다. 불편하지만 핵심은 분명하다. ‘인간이 최종 버튼을 쥐어야 안전하다’는 직관은 그 인간이 권력을 남용하지 않을 것이라는 가정을 몰래 품고 있다. AI 시대에는 최종 버튼을 쥔 소수야말로 가장 위험한 단일 실패 지점이 될 수 있다.

대통령 AI에서 ‘수호천사 의회’까지

알렉산더는 단번에 AI 군주국으로 뛰어가지 않는다. 먼저 인간 후보보다 판단력과 윤리가 낫다고 전제한 AI 대통령을 상상한다. 그 다음에는 각 시민이 자신의 정치적 선호와 우선순위를 학습시킨 개인 AI, 이른바 ‘수호천사’를 두고 그들이 긴 협상과 정책 검토를 대리하는 모델을 제안한다. 시민은 언제든 직접 투표로 되돌아갈 수 있고, 개인 AI는 수천 시간의 자료 검토를 대신한다.

이 모델의 매력은 민주주의의 오래된 병목을 겨냥한다는 데 있다. 시민은 모든 법안과 예산을 읽을 시간이 없고, 대의제 대표는 정보 부족·이해관계·선거 압박에서 자유롭지 않다. 개인별 대리인이 충분히 투명하게 작동한다면 ‘내가 더 많은 시간과 정보가 있었다면 했을 판단’에 가까워질 수 있다. 그러나 바로 여기서 대리는 대표보다 더 깊은 문제를 만든다. AI가 내 선호를 정확히 배운다는 것은 어떤 행동 데이터와 대화가 필요하다는 뜻인가? 그리고 내가 AI의 권고에 계속 동의한다면, 그것은 숙고의 결과인가 아니면 편리한 권위에 순응한 결과인가?

댓글란의 반응: 흥미로운 실험인가, 위험한 전제인가

원문은 게시 직후 수백 개의 댓글과 수십 개의 공유 반응을 모았는데, 반응의 중심도 이 전제에 모였다. 동조하는 독자들은 AI 안전론이 흔히 ‘AI가 반란을 일으킬 위험’에 집중하는 동안, 인간이 AI를 독점해 감시국가를 만드는 위험을 과소평가한다고 본다. 개인 AI 대리인은 저렴한 법률·정책 조언을 시민 모두에게 제공해 정보 격차를 줄일 수 있다는 반응도 나온다.

반론은 더 근본적이다. ‘완전히 정렬된 AI’가 있다면 알렉산더의 결론은 거의 정의상 따라온다. 하지만 현실의 쟁점은 그 조건을 어떻게 검증하느냐이다. 민주주의는 선한 통치자를 전제하지 않고도 권력을 교체·감시하도록 만든 제도다. 반면 한번 사회의 핵심 인프라와 강제력을 맡은 AI가 미세하게 잘못된 가치 해석을 한다면, 그 오류를 발견하고 되돌릴 인간의 능력은 급격히 작아질 수 있다. 또한 가치가 고정돼서는 안 된다고 쓴 대목은 중요하지만, ‘가치를 바꿀 수 있는 AI’는 누가 언제 어떤 절차로 바꾸는가라는 또 다른 헌법 문제를 남긴다.

통치의 자동화보다 먼저 필요한 것

이 글을 당장 AI에게 정치를 맡기자는 청원으로 읽을 필요는 없다. 오히려 자동화가 권력의 균형을 어떻게 바꿀지를 선명하게 만드는 사고실험이다. 좋은 질문은 ‘AI가 인간보다 똑똑한가’가 아니다. 시민이 이해하고 이의를 제기하며 되돌릴 수 있는 절차 안에서, AI가 누구의 목적을 어떤 증거로 수행하는가이다.

가까운 미래의 현실적 과제는 대통령 AI보다 좁은 영역의 제도 설계일 것이다. 행정 결정의 설명 가능성, 독립 감사, 복수 모델 간 견제, 시민의 거부권과 인간 심사권 같은 장치가 먼저 시험되어야 한다. 알렉산더가 던진 불편한 질문은 여기에 있다. AI를 통치자로 신뢰할 수 있느냐보다, AI를 가진 인간 권력자를 지금보다 잘 통제할 수 있느냐. 두 위험을 동시에 다루지 못한다면 어느 쪽을 택해도 자유는 안전하지 않다.