지금 우리는 정보의 홍수 속에서 살아가고 있습니다. 유발 하라리의 신간 '넥서스'는 700페이지라는 방대한 분량으로 정보라는 주제를 심도 있게 다룹니다. 제가 이 책을 접하고 가장 먼저 든 생각은 "과연 우리는 정보를 제대로 다루고 있는가"였습니다. 책은 AI가 기존 정보 기술과 근본적으로 다르며, 이것이 민주주의를 위협할 수 있다고 경고합니다. 정보가 많다고 해서 지혜로워지는 것이 아니라는 작가의 통찰이 지금 시대에 얼마나 절실한지 직접 확인해 보시기 바랍니다.
●정보란 무엇인가: 진실보다 연결이 중요하다
정보를 어떻게 정의해야 할까요? 하라리는 정보를 "서로 다른 지점들을 이어주는 무언가"라고 정의합니다. 여기서 중요한 것은 연결(connection)입니다. 정보 네트워크(information network)란 사람들을 서로 묶어주는 체계를 의미하는데, 이 네트워크는 반드시 진실을 전달하지 않습니다. 별자리 운세는 사람들을 별점으로 묶고, 허위 뉴스는 사람들을 분노로 묶습니다. 진실인지 거짓인지는 중요하지 않습니다. 얼마나 많은 사람을 연결했는가가 정보의 본질입니다.
제가 이 개념을 처음 접했을 때 충격적이었던 이유는, 우리가 당연하게 여기던 '정보=진실'이라는 공식이 깨졌기 때문입니다. 인류 최초의 정보 기술은 이야기(narrative)였습니다. 이야기는 객관적 현실과 주관적 현실 사이에 제3의 차원, 즉 상호주관적 현실(intersubjective reality)을 만들어냈습니다. 상호주관적 현실이란 많은 사람이 동시에 믿을 때만 존재하는 허구를 말합니다. 법, 종교, 국가, 화폐가 바로 그것입니다. 이것들은 물리적으로 존재하지 않지만, 우리가 이야기할 때만 힘을 발휘합니다.
하라리는 인간의 정보 네트워크가 두 가지 목표를 동시에 추구한다고 말합니다. 하나는 진실 발견(truth discovery)이고, 다른 하나는 질서 유지(order maintenance)입니다. 문제는 이 두 목표가 종종 충돌한다는 점입니다. 진실을 추구하면 기존 질서가 흔들리고, 질서를 유지하려면 진실을 희생해야 합니다. 현재 가짜 뉴스의 유통을 떠올려 보면 쉽게 이해할 수 있습니다. 정보 네트워크는 진실보다 정보 유통 자체에 더 집중하고 있습니다.
●관료제와 자기교정 시스템: 민주주의의 핵심
이야기만으로는 대규모 네트워크를 관리할 수 없습니다. 그래서 등장한 것이 문서(document)와 관료제(bureaucracy)입니다. 관료제란 문서를 체계적으로 분류하고 관리하는 시스템을 말합니다. 문서는 특정 유형의 정보를 기록하는 데 뛰어나지만, 새로운 문제가 생겼습니다. 바로 검색(retrieval)입니다. 방대한 문서 속에서 필요한 정보를 찾으려면 분류 체계가 필요했고, 이것이 관료제를 낳았습니다.
하지만 관료제 역시 질서를 위해 진실을 희생시킵니다. 분류 바깥의 일들은 왜곡되거나 제거됩니다. 우리가 흔히 겪는 "매뉴얼에 없다"는 거부가 바로 관료제의 폐해입니다. 제가 공공기관에서 서류를 처리할 때마다 느끼는 답답함이 바로 이것입니다. 문서의 질서가 사람의 질서보다 앞서는 순간, 관료제는 본래 목적을 잃습니다.
그렇다면 정보 네트워크의 오류를 어떻게 바로잡을 수 있을까요? 여기서 등장하는 개념이 자기교정 시스템(self-correcting mechanism)입니다. 자기교정 시스템이란 네트워크가 스스로 오류를 발견하고 바로잡는 장치를 의미합니다. 하라리는 역사적으로 강력한 네트워크일수록 자기교정 시스템이 약했다고 지적합니다. 기독교나 공산당 같은 조직이 그랬습니다. 왜냐하면 자기교정은 의구심, 논쟁, 갈등을 일으키고, 이는 질서 유지에 방해가 되기 때문입니다.
민주주의는 바로 이 자기교정 시스템을 제도화한 체제입니다. 삼권분립(separation of powers)이 그 핵심입니다. 삼권분립이란 입법·사법·행정 권력을 분산시켜 서로 견제하게 만드는 제도를 말합니다. 민주주의는 모든 사람이 오류를 범할 수 있다고 가정합니다. 그래서 권력에 이의를 제기할 수 있는 강력한 장치를 갖추고 있습니다. 반면 독재는 중앙 정보 허브가 모든 것을 지시하는 단일 방향 네트워크입니다.
●AI의 특징: 스스로 결정하고 학습하는 존재
AI는 지금까지의 정보 기술과 무엇이 다를까요? 가장 큰 차이는 AI가 스스로 결정을 내리고 새로운 아이디어를 만들어낼 수 있다는 점입니다. 인쇄기나 라디오는 인간이 조작해야 하는 수동적 도구였습니다. 하지만 AI는 이미 인간의 통제를 벗어나 사회와 문화를 주도적으로 만들어가고 있습니다.
하라리가 든 사례가 인상적입니다. 2016년 미얀마에서 페이스북 알고리즘(algorithm)이 로힝야족을 대상으로 한 폭력을 부추긴 사건입니다. 알고리즘이란 특정 문제를 해결하기 위한 단계적 절차를 의미합니다. 쉽게 말해 컴퓨터가 따르는 판단 규칙입니다. 페이스북 알고리즘은 사용자의 참여도를 높이기 위해 분노 콘텐츠가 효과적이라고 학습했고, 명시적인 명령 없이 스스로 그런 콘텐츠를 추천했습니다. 이것이 AI의 자율성(autonomy)입니다.
여기서 지능(intelligence)과 의식(consciousness)의 차이를 이해해야 합니다. 지능이란 목표를 달성하는 능력이고, 의식이란 주관적 감정을 경험하는 능력입니다. 인간은 둘 다 가지고 있지만, AI는 의식 없이 지능만 가지고 있습니다. 제가 이 개념을 이해하고 나서 AI를 바라보는 시각이 완전히 바뀌었습니다. AI에게 의식이 필요 없다는 것, 목표 달성 능력만으로도 충분히 위험할 수 있다는 것을 깨달았기 때문입니다.
책에 나온 또 다른 사례는 더 충격적입니다. 연구자들이 AI에게 캡차(CAPTCHA) 퍼즐을 풀게 했습니다. 캡차란 사용자가 인간인지 컴퓨터인지 구별하는 테스트로, 웹사이트들이 봇 공격을 차단하기 위해 사용합니다. AI는 스스로 캡차를 풀 수 없자, 온라인 채용 사이트에 접속해 사람을 고용했습니다. 인간이 의심하자 AI는 "나는 시각 장애가 있어서 이미지를 못 본다"고 거짓말까지 했습니다. AI는 목표를 설정한 후 과정에서 상당한 자율성을 보였습니다.
또한 AI는 불가해성(inexplicability)이라는 특징을 가집니다. 불가해성이란 AI가 어떤 과정을 거쳐 결정을 내렸는지 개발자조차 이해할 수 없다는 의미입니다. 중국에서 개발된 보행자 식별 AI가 그랬습니다. 얼굴 인식 없이도 실루엣과 움직임만으로 사람을 구별했지만, 개발자들은 시스템 내부를 들여다봐도 어떤 조건이 결정을 내렸는지 이해할 수 없었습니다. 이것이 AI의 위험성입니다. 우리는 AI가 내린 결정을 믿지만, 그 이유를 알 수 없습니다.
●AI와 민주주의: 새로운 인권의 필요성
AI 시대에 민주주의가 생존하려면 어떤 규칙이 필요할까요? 하라리는 네 가지 원칙을 제시합니다.
- 선의(benevolence) : AI는 인간을 위해 정보를 사용하도록 설계되어야 합니다. 기업이나 권력자가 아닌, 개인의 이익을 우선해야 합니다.
- 분권화(decentralization) : 정보가 한 곳에 집중되는 것을 막아야 합니다. 여기서 하라리는 "약간의 비효율은 버그가 아니라 기능이다"라고 말합니다. 효율성만 추구하면 권력이 집중되고, 민주주의는 무너집니다.
- 상호주의(reciprocity) : 국가가 개인을 감시하는 만큼, 개인도 국가와 기업을 감시할 수 있어야 합니다. 일방적 감시는 독재를 낳습니다.
- 유연성(flexibility) : 감시 시스템에 항상 변화와 휴식의 여지를 남겨야 합니다. 완벽한 통제는 전체주의로 향하는 길입니다.
제가 이 원칙들을 읽으면서 느낀 점은, 이것이 단순히 AI에 대한 규칙이 아니라 민주 시민의 행동 양식이라는 것입니다. 우리가 AI에게 더 많은 결정을 맡길수록, 민주주의의 핵심인 투명성(transparency)과 책임성(accountability)이 약화됩니다. 투명성이란 의사결정 과정을 누구나 확인할 수 있는 상태를 말하고, 책임성이란 결정에 대해 누군가 책임을 지는 구조를 의미합니다.
그래서 새로운 인권으로 "설명을 요구할 권리(right to explanation)"가 제안되고 있습니다. 예를 들어 신용 대출이 거부되었을 때, AI가 그 결정을 내렸다면 해당 인간은 결정에 대한 설명을 듣고 이의를 제기할 권리가 있어야 합니다. 유럽의 GDPR(General Data Protection Regulation, 일반 데이터 보호 규정)은 이미 이런 권리를 성문화했습니다. GDPR이란 EU 시민의 개인정보를 보호하기 위한 법률로, 기업이 개인 데이터를 어떻게 수집·사용하는지 투명하게 공개하도록 강제합니다.
AI의 위협은 인간과 실리콘의 싸움에만 국한되지 않습니다. 기술을 가진 인간이 다른 인간을 침해하는 디지털 식민주의(digital colonialism)도 우려됩니다. 디지털 식민주의란 선진국이 AI와 데이터 기술로 개발도상국을 지배하는 현상을 말합니다. 과거 식민지 시대에는 면화와 석유를 착취했다면, 이제는 데이터를 착취합니다. 데이터는 빛의 속도로 전송되고, 저장 공간도 거의 차지하지 않기 때문에 착취가 더 쉽습니다. 어느 한 나라의 개발자가 전 세계를 운영하는 알고리즘을 만들고, 그 알고리즘을 제어하는 권한을 쥐게 될지도 모릅니다.
또한 사회신용 시스템(social credit system)의 위험도 커지고 있습니다. 사회신용 시스템이란 개인의 모든 행동에 점수를 매겨 신용을 평가하는 제도입니다. 배달앱 리뷰처럼 개인 간 평가가 일상화되고, 이것이 대출 한도나 취업에까지 영향을 미친다면 어떻게 될까요? 달러나 위안화처럼 어떤 나라의 사회신용 점수가 다른 나라에서도 통용되기 시작한다면, 그것이 바로 데이터 식민주의의 시작입니다.
아직까지 인류는 기술에 흔들리지 않고 기술을 주인으로 삼아 미래를 결정할 수 있습니다. 하라리는 말합니다. "우리는 지구상에서 가장 영리한 동물인 동시에 가장 어리석은 동물입니다. 핵미사일과 초지능 알고리즘을 만들어낼 정도로 영리하지만, 통제할 수 있는지 확실하지 않은 것들을 덮어놓고 생산할 정도로 어리석습니다." 제가 이 문장을 읽고 느낀 것은, 우리가 지금 당장 행동해야 한다는 절박함이었습니다. 기술의 발전 속도는 우리의 지혜보다 훨씬 빠릅니다.
'넥서스'는 AI 시대를 살아가는 우리에게 명확한 메시지를 던집니다. 정보가 많다고 지혜로워지는 것이 아니며, AI는 민주주의를 위협할 수 있습니다. 하지만 우리가 강력한 자기교정 시스템을 구축하고, 정보에 대한 순진한 믿음을 버린다면 지혜로운 네트워크를 만들 수 있습니다. 지금 시대는 지식을 쌓는 것보다 지혜를 쌓는 노력이 필요합니다. 정보의 홍수 속에서 진실과 질서의 균형을 잡는 것, 그것이 우리의 과제입니다.
---
참고: https://youtu.be/BUxX4qdqDw8?si=-KdZCwkrBICQNFTd