미국 민주주의를 붕괴시킬 수 있는 기술

이 순간: 왜 “american democracy know might”가 지금 중요한가

3월 9일, 한 인기 팟캐스트의 헤드라인이 대중의 대화 속에 충격을 주기 위해 의도된 한 문장을 던졌습니다. 바로 "american democracy know might"였습니다. 이는 음성, 이미지, 의사결정을 자동화하기 위해 구축된 일련의 기술들이 시민 생활의 정직함을 유지하는 제도보다 더 빠르게 움직이고 있다는 새롭고 긴박한 불안감을 나타내는 약칭이었습니다. 이 에피소드에는 지난해 White House에서 수석 AI 정책 고문으로 활동했던 기술 작가 Dean Ball이 출연했으며, 최근 미국 국방부 구매자들과 민간 AI 연구소들 사이의 대립 상황을 도입부로 사용했습니다.

Pentagon과 유력 연구소들 간의 계약 분쟁, 그리고 특정 공급업체를 "공급망 리스크"로 지정하기로 한 국방부의 결정은 정부 내외에서 반발을 불러일으켰습니다. 민주적 규범을 우려하는 사람들에게 이 이야기는 서로 연결된 두 가지 측면을 가지고 있습니다. 하나는 강력한 행위자들이 설득력 있는 가짜 콘텐츠로 정보 환경을 조작하거나 범람시킬 수 있는 능력이며, 다른 하나는 국가 안보라는 명분과 조달 권력을 이용해 민간 기업을 굴복시킬 수 있는 국가의 능력입니다. 청취자들과 전문가들은 이 두 가지 경향 모두 민주적 선택의 근간이 되는 공유된 사실 관계가 얼마나 취약해졌는지를 보여준다고 이 프로그램에서 언급했습니다.

american democracy know might — Anthropic 대치 상황과 국가의 압력이 시사하는 바

주요 AI 연구소의 정부 계약 역할을 둘러싼 분쟁은 시사하는 바가 큽니다. 최근 한 국방 관련 고객과 선도적인 연구소 간의 협상이 결렬되었고, 당국은 해당 연구소를 "공급망 리스크"로 규정했습니다. 이는 보통 첩보 활동이 의심되는 외국 기업에 적용되는 분류입니다. 이러한 조치는 해당 라벨을 정부의 위협과 다름없다고 간주하는 정책 전문가들 사이에서 경종을 울렸습니다. 즉, 정부의 조건을 수용하지 않으면 계약과 파트너에 대한 접근 권한을 잃게 된다는 것입니다. Dean Ball이 팟캐스트에서 언급했듯이, 이러한 역학 관계는 민간 기업에 대한 국가의 거의 폭압적인 개입처럼 느껴질 수 있습니다.

이것이 왜 민주주의에 중요할까요? 정부가 특정 기업을 선택적으로 배제할 수 있고, 규제 지정이 정치적 재량에 의해 휘둘릴 때, 상업적 게이트키퍼들은 사실상 정치 권력의 도구가 될 수 있기 때문입니다. 이는 소수의 연구소와 칩 제조사가 현대 AI에 필요한 컴퓨팅, 모델, 호스팅의 대부분을 공급하는 고도로 집중된 시장에서 더욱 그렇습니다. 조달 압력, 수출 통제, 또는 비공식적 제재가 명확하고 지속적인 가이드라인이나 독립적인 감독 없이 행사될 때, 기업의 동기와 시민 및 정치인이 선택할 수 있는 대안은 변하게 됩니다.

이러한 동기는 중요합니다. 만약 정책적 압박으로 인해 연구소들이 정부 사업을 유지하기 위해 안전장치를 숨기거나 출시를 서두르게 된다면, 혹은 반대로 기업들이 상업적 고객을 유지하기 위해 공익적 보호 조치를 포기한다면, 공유된 증거를 바탕으로 정치적 갈등을 심판하는 민주주의의 능력은 저하됩니다. 이는 가설이 아닙니다. 오늘날 기업의 이사회와 조달 사무국 내에서 실제로 벌어지고 있는 일이며, 누가 규칙을 쓰고 누가 그 혜택을 입는지를 결정 짓고 있습니다.

american democracy know might — 오보, 딥페이크 그리고 미네소타 테스트

동시에 정보 생태계는 또 다른 전선인 '진실성'에서 시험을 받고 있습니다. 올해 초, 미국의 한 도시에서 연방 요원들이 연루된 폭력 사건의 영상 증거가 공개되자 전국적인 반발이 일어났습니다. 해당 영상이 공식 설명과 명백히 달랐기 때문입니다. 널리 유포된 녹화 영상이 정부의 주장을 반박하는 데 도움이 된 이 사건은 명확하고 공유된 증거가 가진 안정화 능력을 보여주었습니다. 하지만 동시에 그 안정화 장치의 취약성 또한 드러냈습니다.

왜 취약할까요? 이제는 동일한 머신러닝 시스템을 통해 실제와 똑같이 보고 들리는 합성 영상, 오디오, 이미지를 저렴하고 빠르게 제작할 수 있기 때문입니다. 연구자들은 인위적으로 조작된 수많은 미묘하게 다른 허위 서사로 소셜 플랫폼을 포화시켜 일반적인 검증 프로세스를 무력화할 수 있는 AI 기반의 조직적인 "정보 조작 떼(disinformation swarms)"에 대해 경고해 왔습니다. 만약 미래의 사건들이 단 하나의 명확한 클립이 아니라, 수십 개의 그럴듯하지만 서로 충돌하는 버전들과 함께 나타난다면, 대중은 진실을 알 수 없다고 결론짓고 자신이 가장 신뢰하는 권위 있는 출처에 판단을 맡겨버릴 수 있습니다. 이는 권위주의적 행위자들이 목표로 하는 전형적인 실패 모델입니다.

스토리 경제: AI 거품과 정치적 리스크

이러한 스토리텔링 경제는 정치적 부작용을 낳습니다. 과대평가된 기업과 유명 창업자들이 과도한 주목을 받으며, 인수합병과 미디어 소유권의 변화는 유통과 편집권의 통제력을 집중시킵니다. 내일의 공공 담론을 주도하겠다고 약속하는 기업들이 정치적으로 편향된 올리가르히의 손에 들어가거나, 단일 칩 제조사가 시장 지수의 상당 부분을 차지할 때, 민간 자본 시장의 변동은 시민 제도에 파급 효과를 미칠 수 있습니다. 그리고 위기 상황에서 유통과 컴퓨팅을 통제하는 자들은 어떤 서사가 살아남고 어떤 서사가 사라질지를 결정할 수 있습니다.

정책적 수단과 기술적 안전장치

이 중 어느 것도 피할 수 없는 운명은 아닙니다. 기술이 민주주의를 추월할 위험을 줄일 수 있는 구체적인 조치들이 있습니다. 기술적 조치로는 합성 미디어에 대한 암호화 서명, 추적 가능한 콘텐츠 메타데이터, 포렌식 워터마킹 등 강력한 출처 증명 시스템(provenance systems)을 구축하여 사진, 영상, 모델 출력물이 검증 가능한 출처 정보를 담도록 하는 것이 포함됩니다. 출처 증명 기준이 효과를 거두려면 국제적인 협력과 독립적인 검증이 필요합니다.

규제 및 시민적 조치도 중요합니다. 플랫폼은 알고리즘의 유도 방식을 공개하고, 특히 선거 기간 전후의 콘텐츠 증폭에 관한 투명성 보고서를 제공해야 합니다. 조달 및 국가 안보 당국은 기업을 지정하거나 접근을 제한할 때 명확하고 공개적인 규칙을 채택해야 하며, 이러한 조치는 정치적 강압을 방지하기 위해 사법적 또는 의회적 감독을 받아야 합니다. 포섭으로부터 법적으로 보호받고 자금이 지원되는 지역 저널리즘 및 공공 검증 인프라에 대한 투자는 검증 가능한 사실이라는 사회적 기반을 강화할 것입니다.

마지막으로, 회복 탄력성은 기술적인 동시에 사회적인 것입니다. 미디어 리터러시 캠페인, 팩트체크 운영에 대한 지원 확대, 미세 타겟팅(microtargeted) 정치 광고 제한 규정, 선거 중 디지털 행위에 대한 초당적 합의 등은 알고리즘 조작의 영향을 완화할 수 있습니다. 이러한 시스템을 구축하려면 정부, 표준화 기구, 연구 기관, 시민 사회 간의 부문 간 협력이 필요하며, 관련 기술이 계속 가속화되고 있는 만큼 시급한 관심이 요구됩니다.

향후 나아갈 방향

기술은 언제나 민간의 권력과 공적 책임 사이의 균형을 변화시켜 왔습니다. 현재의 순간이 독특한 이유는 세 가지 강력한 힘이 결합하기 때문입니다. 설득력 있는 증거를 조작할 수 있는 생성형 AI, 콘텐츠를 대규모로 증폭하고 타겟팅할 수 있는 플랫폼, 그리고 서사와 제도적 수단 모두를 무기화하려는 정치적 행위자들이 그것입니다. 이러한 조합 때문에 사람들이 "american democracy know might"라고 말하는 것입니다. 이는 급격한 기술 변화와 그보다 느리고 취약한 민주적 수복 메커니즘 간의 충돌을 나타내는 약칭입니다.

하지만 의도적인 낙관론을 가질 근거도 있습니다. 기만을 쉽게 만드는 바로 그 도구들이 검증을 위해서도 활용될 수 있으며, 장악될 수 있는 제도는 개혁되고 방어될 수도 있기 때문입니다. 선택은 정치적이며 기술적인 문제이며, 이는 연구소뿐만 아니라 이사회, 법정, 의회에서 결정될 것입니다. 향후 10년 동안 가장 중요한 과업은 민주주의가 필요로 하는 공통의 토대를 침식하는 행위를 어렵고, 눈에 띄며, 위험하게 만드는 공공 인프라와 법적 안전장치를 구축하는 일이 될 것입니다.

출처

• Science (AI 기반 정보 조작 떼에 관한 연구 논문)
• Pew Research Center (데이터 센터 에너지 및 인프라 분석)
• Deutsche Bank (AI 시장 리스크 및 조정에 관한 보고서)
• MIT Sloan (AI 산업 서사에 관한 분석 및 논평)
• Bank of England (시장 취약성에 관한 기술 보고서)