앤스로픽은 왜 AI 개발의 전 세계적 일시 중단을 촉구하는가?

그들은 수치를 공개했고, 이어 제동을 요구했다

2026년 6월 4일, Anthropic Institute는 "AI가 스스로를 구축할 때(When AI builds itself)"라는 에세이를 발표했습니다. 이 보고서는 경고 문구가 포함된 엔지니어링 감사 결과처럼 읽힙니다. Anthropic은 자사의 Claude 모델 제품군이 실무 코드를 거의 작성하지 않던 수준에서, 2026년 5월 기준 코드베이스에 병합된 라인의 80% 이상을 작성하는 주도적인 역할을 하게 되었다고 밝혔습니다. 이제 엔지니어들은 직접 타이핑하는 대신 모델이 작성한 결과물을 지시하고 검토하는 역할을 수행하고 있습니다. 이러한 내부 데이터를 제시한 후, Anthropic은 모델이 인간이 관리할 수 있는 속도보다 더 빠르게 스스로를 개선하기 시작한다면 세계가 "첨단 AI 개발을 늦추거나 일시적으로 중단할" 수 있는 선택지를 마련해야 한다고 결론지었습니다.

Anthropic의 글로벌 중단 요구: 내부 증거와 쟁점

Claude가 프로덕션 커밋의 대부분을 기여하고 2024년 말 이후 엔지니어 1인당 생산성이 몇 배나 증가했다는 핵심 통계는 단순한 홍보용 수사가 아닙니다. Anthropic은 모델이 제안 단계에서 자율 실행 단계로 전환되는 분명한 변곡점을 보여주는 그래프와 내부 설문조사 결과를 제시하며, 이 변화를 연구자들이 "재귀적 자기 개선(recursive self-improvement)"이라 부르는 위험 범주와 직접적으로 연결합니다. 만약 시스템이 더 빠르고 뛰어난 후속 모델을 안정적으로 설계할 수 있게 된다면, 성능 향상 속도가 인간의 계획 주기와 분리될 수 있습니다. Anthropic은 이를 기술적인 문제인 동시에 거버넌스 문제로 규정합니다. 즉, 자동화된 R&D가 가속화될수록 규제 기관, 윤리학자, 안전 연구원들이 대응할 수 있는 시간이 줄어든다는 것입니다.

Anthropic의 글로벌 중단 요구: 왜 검증이 문제인가

Anthropic은 단순히 "멈추라"고 말하는 것이 아닙니다. 이 회사는 모든 중단 조치의 전제 조건으로 '검증 가능성'을 명시합니다. 의미 있는 속도 조절을 위해서는 여러 국가의 자원이 풍부한 첨단 연구소들이 동일한 조건 하에 중단하기로 합의해야 하며, 무엇보다 서로가 실제로 중단했는지 검증할 수 있어야 한다고 주장합니다. 에세이에서 언급했듯, 학습 과정과 모델 개발은 미사일 사일로보다 은폐하기 훨씬 쉽기 때문에 이 부분에서의 탐지 문제는 전통적인 군비 통제 체제보다 훨씬 어렵습니다. 이것이 바로 Anthropic이 일방적으로 중단하고 경쟁자들이 따르기를 바라는 대신, 검증 시스템을 먼저 구축하자고 제안하는 이유입니다.

운영 세부 사항을 묻는 질문에 Anthropic의 공개 자료는 의도적으로 열린 결말의 처방을 내놓습니다. 중단 조치는 정렬(alignment) 연구와 사회적 구조가 따라잡을 때까지 "첨단 AI 개발을 늦추거나 일시적으로 멈추는" 것이며, 구체적인 트리거, 중재자, 종료 조건은 그들이 소집하고자 하는 국제적 절차를 통해 결정되어야 한다는 것입니다. 정해진 기간은 없습니다. 회사는 이 도전을 구축에 수십 년이 걸렸던 과거의 검증 체제에 비유하며, 세계가 그만한 여유를 가지고 있지 않다고 경고합니다. 요컨대, 이 중단 제안은 달력에 박힌 단일한 유예 기간이 아니라, 정렬 연구와 거버넌스를 위한 시간을 벌기 위한 메커니즘으로 제시된 것입니다.

이 제안이 정책 입안자들에게 수수께끼처럼 느껴지는 이유

조정 가능하고 검증 가능한 중단은 이론적으로는 매력적이지만, 많은 정책 입안자에게는 현실적으로 불가능해 보입니다. 다른 이들이 멈춘 동안 혼자 계속 학습할 경우 얻게 될 전략적, 경제적, 군사적 우위라는 유혹은 엄청나기 때문입니다. 이것이 바로 Anthropic이 검증을 먼저 구축해야 한다고 주장하는 핵심 논리입니다. 또한, 미국과 중국 등 주요 국가의 참여 없이는 이 계획이 시급하면서도 달성 불가능해 보이는 이유이기도 합니다. Responsible Scaling Policy v3에 따른 자체 위험 보고서 발표 직후 이 에세이를 공개한 회사의 타이밍은 의도적으로 이 문제를 정치적 영역으로 끌어들이려는 의도로 풀이됩니다.

Anthropic은 어떤 기업이며, 우리는 왜 이들의 말을 들어야(혹은 듣지 말아야) 하는가?

Anthropic은 Claude 모델 제품군과 Claude Code 제품 라인을 개발한 캘리포니아의 AI 기업으로, 안전 중심의 수사와 공식적인 Responsible Scaling Policy를 바탕으로 공적 정체성을 구축했습니다. 이러한 이력은 에세이에 신뢰성을 부여합니다. Anthropic은 직접적인 내부 측정치, 시스템 카드 요약, 그리고 자사가 배포하는 기능과 완화 조치를 기록한 첫 번째 공개 위험 보고서를 제시합니다. 하지만 이 회사는 2026년에 기존의 엄격했던 중단 약속의 의미를 축소했다는 비판을 받으며, 일방적인 기업 행동과 업계 전반의 요구 사항을 구분하도록 Responsible Scaling Policy를 수정한 바로 그 회사이기도 합니다. 이러한 과거 때문에 일부 평론가들은 Anthropic의 글로벌 중단 요구를 역설적으로 받아들입니다. 기업은 일방적인 중단 약속에서 물러나면서, 동시에 전 세계가 조정된 제동 장치를 만들어야 한다고 주장하고 있기 때문입니다. 독자들은 새로운 데이터와 정치적 맥락 모두를 적절한 회의적 시각으로 바라봐야 합니다.

중단이 AI가 통제 불능 상태가 될 위험을 줄일 수 있을까?

Anthropic의 답변은 신중합니다. 그렇습니다. 속도 조절은 정렬 연구와 개선된 평가를 위한 시간을 벌고, 기관들이 중재 및 검증 메커니즘을 구축할 기회를 제공할 수 있습니다. 회사는 위험을 두 가지로 규정합니다. 연구 파이프라인을 가속화하는 시스템과 원칙적으로 자율적인 행동을 유도할 수 있는 목표가 부여될 수 있는 시스템입니다. 따라서 중단 조치를 통해 연구 속도를 무분별한 성능 확장으로부터 분리하려 합니다. 그러나 이 완화 조치는 조건부입니다. 신뢰할 수 있는 모니터링과 국제적 조정이 없다면, 일부 연구소는 준수하고 다른 연구소는 무시하는 중단은 오히려 세상을 덜 안전하게 만들 수 있습니다. 바로 이것이 Anthropic이 이탈을 탐지할 수 있는 기술적 수단과 트리거를 정의하고 중재하는 합의된 프로토콜을 요구하는 이유입니다.

전 세계적인 중단은 어떻게 구현 및 강제될 수 있으며, 누가 감시를 맡을 것인가?

Anthropic은 두 가지 상호 보완적인 접근 방식을 제시합니다. 첫째, 대규모 학습이나 모델 가중치 유출을 탐지할 수 있는 검증 가능한 기술적 제어 및 모니터링 도구를 구축하는 것입니다. 둘째, 트리거를 설정하고 분쟁을 중재할 수 있는 정부, 주요 연구소, 시민 사회, 독립 감사인이 참여하는 다중 이해관계자 포럼과 같은 정치적 구조를 구축하는 것입니다. 회사는 군비 통제의 사례를 언급하지만, 과거의 조약들이 작동하기까지 수십 년의 신뢰와 계측 시스템 구축이 필요했음을 인정하며 이 비교가 불완전함을 인정합니다. 모든 신뢰할 수 있는 집행 메커니즘에는 강력한 국가 참여, 독립적인 감사 역량, 부정행위의 유혹을 줄이기 위한 대중적 투명성이 필요할 것입니다. 그렇지 않다면 이 중단 조치는 명목상의 유예 기간에 불과할 것입니다. citeturn2view0turn6view0

정책 입안자들은 현재 무엇을 하고 있으며 유럽은 어디에 위치하는가?

유럽은 다른 지역보다 빠르게 AI 거버넌스의 기초를 문서화했습니다. EU AI Act와 그 집행을 지원하기 위한 새로운 자문 기구들이 실질적인 감독 도구로 준비되고 있습니다. 이러한 기관들은 Anthropic이 요구하는 검증 아키텍처의 일부가 될 수 있습니다(예: 합의된 속도 조절 준수를 시장 접근의 조건으로 삼는 방식). 그러나 AI Act의 지리적 범위와 국가 안보 면제 조항은 브뤼셀이 독자적으로 국제적 조정 문제를 해결할 수 없음을 의미합니다. 신뢰할 수 있는 중단이 이루어지려면 미국과 중국의 동의가 반드시 필요합니다.

이 사안은 Anthropic을 둘러싼 더 넓은 정치적 갈등 속에서 어떤 위치를 차지하는가?

이 보고서는 Anthropic이 공급망 지정 및 군사적 이용 제한을 두고 미국 국방부와 고위급 분쟁을 벌이는 와중에 발표되었습니다. 이는 이미 업계 관계자들의 개입과 연방 판사의 회의적인 시각을 불러일으킨 싸움입니다. 이러한 맥락은 Anthropic이 처한 상반된 압박을 강조하기 때문에 중요합니다. 한편으로는 상업적 미래와 정부 계약을 방어해야 하고, 다른 한편으로는 성능 향상에 대한 더 엄격한 글로벌 제동 장치를 공개적으로 주장해야 하는 상황입니다. 이러한 긴장감은 외부인들이 이 에세이를 완전히 이상주의적이거나 전적으로 자기 이익을 위한 것으로만 해석하기 어렵게 만듭니다. 이는 분명 기술적 호소인 동시에 정치적 행보입니다.

결론적으로 무엇이 남았는가?

Anthropic은 첨단 연구소로서는 드물게 모델이 일상적인 엔지니어링 작업의 어느 정도를 수행하는지 보여주는 운영 지표를 발표하고, 그 데이터를 공공 정책 요구와 결합했습니다. 이 회사의 핵심 요점은 명확합니다. AI가 스스로의 발전을 가속화할 수 있다면, 거버넌스와 정렬 연구가 폭주하는 열차를 뒤쫓는 상황이 되기 전에 사회가 이를 늦출 수 있는 절차를 가져야 한다는 것입니다. 신뢰할 수 있고 강제력이 있으며 국제적인 검증 시스템을 구축하는 어려운 작업은 이제 대부분의 정책 입안자와 기술자들이 해결해야 할 과제입니다. 그 과정은 기술적이고 지정학적이며 복잡할 것입니다. 또한 누가 의사결정 테이블에 앉을 것인가에 대한 문제가 실제 정책이 되는 지점이 될 것입니다. 유럽은 규칙과 검사 도구를 제공할 수 있지만, 이 문제에 대한 미국과 중국의 정치적 데탕트를 대신할 수는 없습니다.

이것은 진보입니다. 슬라이드 덱에는 다 담을 수 없는 종류의 진보입니다.

출처

• Anthropic Institute — "When AI builds itself" (기업 에세이 및 내부 데이터)
• Anthropic — Redacted Risk Report (Responsible Scaling Policy v3.0 이행 자료, 2026년 2월)
• Anthropic — Responsible Scaling Policy v3.0 및 관련 시스템 카드
• 유럽연합 집행위원회 / EU AI Act 이행 문서 및 자문 기구