이번 주 보도에 따르면 펜타곤이 생사 여부를 결정하는 표적 설정 의사 결정에 검증되지 않은 AI를 도입할 단계에 근접했습니다. 이는 생성형 모델이 잠재적 표적 목록의 순위를 매기고 권고안을 생성하면 인간 요원이 이를 검토하는 시범 운용 단계로 진입했음을 의미합니다. 브리핑과 최근 보도에 기술된 이 계획은 완전히 자율적인 살상 시스템을 제안하는 것이 아닙니다. 대신 국방부는 거대 언어 모델과 생성형 모델을 의사 결정 보조 도구로서 표적 설정 워크플로우에 통합할 준비를 하고 있습니다. 이러한 단기적인 움직임은 현재 시스템에서 명확하고 측정 가능한 오류 유형이 발견되고 있으며, 최근의 의료 AI 연구에서 확신에 찬 잘못된 권고가 운영 프로세스 내에서 어떻게 확산될 수 있는지를 지적해 온 연구자들과 윤리학자들 사이에서 경종을 울리고 있습니다.
펜타곤, 표적 설정에 검증되지 않은 AI 도입 임박: 운영상의 변화
문서와 보도에 따르면 펜타곤은 전장 데이터를 생성형 AI 시스템에 입력하여 순위가 매겨진 표적 목록과 권장 조치 방안을 생성하는 실험을 가속화하고 있으며, 최종 결정은 인간에게 맡기고 있습니다. 제안된 아키텍처는 AI를 처형자가 아닌 보조자로 취급합니다. 즉, 모델이 이미지, 신호 및 기타 피드들을 종합하여 우선순위가 지정된 옵션과 그 근거를 합성해 내는 방식입니다. 지지자들은 이것이 긴 정보 주기를 압축하여 지휘관이 긴박하게 돌아가는 시나리오에서 쏟아지는 센서 데이터를 처리하는 데 도움을 줄 수 있다고 주장합니다.
하지만 시스템을 "보조자"라고 부른다고 해서 운영상의 위험이 사라지는 것은 아닙니다. 검증되지 않은 모델이 의사 결정 파이프라인에 포함될 때, 오류는 특이한 실패가 아니라 권위 있어 보이는 짧고 잘 정제된 권고안과 같이 그럴싸한 주장으로 나타날 수 있습니다. "펜타곤, 검증되지 않은 AI 도입 임박"이라는 문구는 이러한 긴장감을 잘 보여줍니다. 즉, 적대적 조건이나 예외적인 상황에서 신뢰성을 측정할 투명하고 표준화된 방법이 확립되기도 전에 치명적인 결과를 초래할 수 있는 작업에 기계가 준비되고 있는 것입니다.
펜타곤, 표적 설정에 검증되지 않은 AI 도입 임박: 오류 유형과 의료 분야와의 유사성
최근 의료 분야의 학술적 연구는 펜타곤이 직면한 위험에 대한 구체적인 비유를 제공합니다. Icahn School of Medicine at Mount Sinai 연구진의 대규모 연구에 따르면, 주요 언어 모델을 임상 기록에 테스트한 결과 허위 주장이 사실적인 텍스트에 포함되어 있을 경우 모델이 조작된 권고 사항을 자주 반복한다는 사실이 밝혀졌습니다. 저자들은 이 문제를 "이 시스템이 거짓말을 전달할 수 있는가?"로 정의하며, 모델이 임상 치료에 사용되기 전에 대규모 스트레스 테스트와 외부 증거 확인을 거칠 것을 촉구했습니다.
이 통찰을 표적 설정에 대입해 보면, 생성형 모델은 잘못 라벨링된 이미지, 오래된 위치 메타데이터 또는 적의 기만 전술과 같은 잘못된 신호를 수용하거나 증폭시켜 인간 검토자가 신뢰할 수 있다고 여길 만큼 간결하고 확신에 찬 권고안을 제시할 수 있습니다. 적대 세력은 의도적으로 입력을 조작할 수 있으며, 일상적인 운영상의 모호함(열악한 조명, 가림 현상 또는 무해한 민간인 활동)은 모델의 겉으로 드러나는 유창함이 깊은 불확실성을 가리는 정확한 조건을 형성할 수 있습니다. 측정 가능하고 체계적인 테스트를 요구하는 Mount Sinai 논문의 제언은 국방 분야에도 직접 적용됩니다. 군사용 AI는 잘못된 권고를 얼마나 자주 "전달"하는지 추정하기 위해 적대적이고 모호하며 의도적으로 오도된 사례를 통해 철저히 조사되어야 합니다.
인간의 감독, 법률 및 안전장치
당국자들은 인간이 루프(loop) 안에 머물며 물리적 타격(kinetic action)이 가해지기 전 반드시 AI의 권고를 검증해야 한다는 점을 강조합니다. 인간 개입(Human-in-the-loop) 아키텍처, 법적 검토 및 확립된 교전 규칙이 주요 안전장치로 인용됩니다. 그러나 실제로는 운영 템포에 의해 인간의 감독 기능이 약화될 수 있습니다. 센서 스트림이 운영자에게 시간당 수십 개의 AI 우선순위 옵션을 쏟아낼 때 검토는 수박 겉핥기식이 될 수 있습니다. 이러한 역학 관계는 안전 메커니즘을 단순한 절차적 체크박스로 전락시키고 AI에 의해 심어진 오류가 판단 임계값을 통과하도록 허용합니다.
국제법과 무력 충돌법은 공격 시 구별, 비례성 및 주의 의무를 요구합니다. 법적 고문들은 교리와 쟁점 사례를 검토할 수 있지만, 이는 제시된 정보의 질에 의존합니다. 감독이 의미를 갖기 위해 안전장치에는 어떤 데이터가 모델에 영향을 미쳤는지 노출하는 감사 추적, 인간 검토자가 이해할 수 있도록 보정된 신뢰도 지표, 고위험 권고에 대한 필수적인 제2 채널 검증이 포함되어야 합니다. 여러 학자와 기술자들은 이러한 보호 조치가 임시방편적인 내부 지침이 아니라 구속력 있는 프로토콜로 공식화되어야 한다고 주장합니다.
기술적, 윤리적 및 책임의 격차
책임 소재 또한 모호합니다. AI가 순위 목록을 제공하고 인간 운영자가 시간적 압박 속에서 이를 수용했다가 민간인이 피해를 입는다면 법적, 도덕적 책임은 누구에게 있습니까? 지휘 계통의 규범과 내부 검토 위원회는 책임을 상부로 추적할 수 있겠지만, 유가족과 대중은 투명하고 독립적인 조사 메커니즘을 요구할 것입니다. 이는 강력한 로깅, 원시 센서 데이터 및 모델 출력값의 보존, 그리고 외부 포렌식 분석을 가능하게 하는 절차를 의미하며, 현재의 프로토타입 중 어느 것도 이러한 기준을 표준으로 갖추고 있지 않습니다.
미래 전쟁과 정책에 미치는 영향
현재 표적 설정 워크플로우에 생성형 AI를 도입하는 것은 향후 수년간의 전장 관행을 결정하게 될 것입니다. 초기 배포 단계에서 속도를 위해 높은 오류율을 용인한다면 교리와 훈련은 그 절충안에 적응하게 될 것이며, 적들은 이를 악용하는 법을 배울 것입니다. 반대로 외부 검증, 레드팀 활동 및 법적으로 강제된 확인을 요구하는 엄격하고 증거 기반의 접근 방식은 현장 배치를 늦추겠지만 시간이 지남에 따라 실제로 위험을 줄이는 모델을 만들어낼 수 있습니다.
정책 입안자들은 신속한 운영상의 이점과 검증 가능한 안전을 구축하는 느린 작업 사이에서 선택의 기로에 서 있습니다. 일부 분석가들은 전략적 이득과 윤리적·법적 비용을 저울질하기 위해 공식적인 테스트 프레임워크, 독립적인 감사, 의회 감독 청문회를 요구합니다. 다른 이들은 검증되지 않은 생성형 모델의 기술적 예측 불가능성이 생사를 가르는 판단의 근거로 부적절하다고 주장하며 살상 결정에 대한 AI 보조의 범위를 제한하는 국제 규범이나 조약을 촉구합니다.
현재로서 펜타곤의 움직임은 더 광범위한 패턴을 보여줍니다. 보건, 금융, 국방 전반에 걸친 조직들이 성능은 뛰어나지만 불완전한 모델을 핵심 워크플로우에 통합하기 위해 서두르고 있습니다. Mount Sinai의 의료 연구는 유창함이 곧 진실을 의미하지 않으며, 인간의 생명이 걸려 있을 때 도메인별 엄격한 평가는 타협할 수 없는 것임을 상기시켜 줍니다. "펜타곤, 검증되지 않은 AI 도입 임박"이라는 문구가 이번 주의 운영상의 현실을 설명한다면, 중요한 질문은 국방부와 감독 기관이 실수가 비극으로 변하기 전에 어떻게 이러한 시스템을 측정, 제한 및 관리할 것인가 하는 점입니다.
전문가들은 견고하고 투명한 테스트 체계와 법적 보증이 마련될 때까지 유일하게 책임 있는 길은 신중함이라고 경고합니다. 배치 속도를 늦추고 모델별로 적대적 스트레스 테스트를 요구하며 포렌식 수준의 로그와 독립적인 검토를 고수해야 합니다. 이러한 조치들이 위험을 완전히 제거하지는 못하겠지만, 검증되지 않은 보조 기능에서 전쟁터의 신뢰할 수 있는 도구로 나아가기 위한 최소한의 요건입니다.
Sources
- Icahn School of Medicine at Mount Sinai (의료 오정보에 대한 LLM의 취약성을 매핑한 연구)
- The Lancet Digital Health (Mount Sinai 연구가 게재된 동료 검토 학술지)
- U.S. Department of Defense (표적 설정 AI 통합에 관한 정책 브리핑 및 계획)
Comments
No comments yet. Be the first!