Пентагон внедряет непроверенный ИИ для выбора целей

На этой неделе стало известно, что Пентагон приближается к использованию непроверенного ИИ в жизненно важных решениях по целеуказанию, переходя от демонстрационных испытаний к операционным пилотным проектам. Это позволит генеративным моделям ранжировать списки потенциальных целей и формировать рекомендации, которые затем будут проверяться операторами-людьми. План, описанный в брифингах и последних отчетах, не предполагает создания полностью автономных летальных систем; вместо этого Министерство обороны (Department of Defense) готовится интегрировать большие языковые и генеративные модели в рабочие процессы целеуказания в качестве вспомогательных средств принятия решений. Этот шаг в ближайшей перспективе вызвал тревогу у исследователей и этиков, которые указывают на явные, измеримые сценарии сбоев в текущих системах и на недавние исследования медицинского ИИ, показывающие, как уверенно ошибочные рекомендации могут распространяться внутри операционных процессов.

Пентагон близок к использованию непроверенного ИИ в целеуказании: операционный сдвиг

Документы и отчеты указывают на то, что Пентагон ускоряет эксперименты по подаче данных с поля боя в системы генеративного ИИ для составления ранжированных списков целей и рекомендаций по вариантам действий, при этом окончательное решение остается за человеком. Предлагаемая архитектура рассматривает ИИ как помощника, а не исполнителя: модели должны синтезировать изображения, сигналы и другие потоки данных в приоритетные варианты с обоснованием. Сторонники утверждают, что это может сократить длительный разведывательный цикл, помогая командирам обрабатывать потоки данных с датчиков в быстро меняющихся сценариях.

Однако присвоение системе статуса «помощника» не снимает операционных рисков. Когда непроверенные модели включаются в цепочку принятия решений, ошибки могут проявляться не как явные сбои, а как кажущиеся правдоподобными утверждения — короткие, хорошо сформулированные рекомендации, выглядящие авторитетно. Фраза «Пентагон близок к использованию непроверенного ИИ» отражает это напряжение: машины готовят к выполнению задач с фатальными последствиями до того, как в секторе будут установлены прозрачные стандартизированные методы измерения надежности в условиях противодействия и в исключительных ситуациях (edge cases).

Пентагон близок к использованию непроверенного ИИ в целеуказании: сценарии сбоев и медицинские параллели

Недавняя академическая работа в области медицины дает конкретную аналогию рискам, с которыми сталкивается Пентагон. В ходе масштабного исследования, проведенного учеными из Icahn School of Medicine at Mount Sinai, ведущие языковые модели тестировались на клинических записях. Было обнаружено, что модели часто повторяли сфабрикованные рекомендации, если эти ложные утверждения были встроены в реалистичный текст. Авторы сформулировали проблему вопросом «может ли эта система передать ложь?» и призвали к проведению крупномасштабных стресс-тестов и проверок по внешним источникам, прежде чем модели будут использоваться в клинической практике.

Перенося этот вывод на целеуказание, генеративная модель может принять или усилить неверные сигналы — неправильно помеченные изображения, устаревшие метаданные о местоположении или дезинформирующую тактику противника — и представить краткую, уверенную рекомендацию, которую проверяющий человек может счесть достоверной. Противники могут намеренно манипулировать входными данными, а рутинная операционная неопределенность (плохое освещение, перекрытие объектов или безобидная гражданская активность) может создать именно те условия, в которых внешняя «гладкость» ответов модели маскирует глубокую неуверенность. Призыв статьи из Mount Sinai к измеримым системным тестам применим напрямую: военный ИИ должен подвергаться проверке в условиях противодействия, неопределенности и намеренного введения в заблуждение, чтобы оценить, как часто он будет «передавать» плохую рекомендацию.

Человеческий контроль, закон и защитные механизмы

Официальные лица подчеркивают, что люди останутся в контуре управления (human-in-the-loop) и должны подтверждать рекомендации ИИ перед любым кинетическим воздействием. Архитектуры с участием человека, юридические обзоры и установленные правила ведения боевых действий называются основными защитными механизмами. На практике, однако, человеческий контроль может быть ослаблен темпом операций: когда потоки данных с датчиков заваливают операторов десятками приоритетных вариантов от ИИ в час, проверка может стать поверхностной. Такая динамика превращает механизм безопасности в формальную «галочку» и позволяет ошибкам, заложенным ИИ, преодолевать пороги критического суждения.

Международное право и право вооруженных конфликтов требуют соблюдения принципов различения, соразмерности и принятия мер предосторожности при нападении. Юридические советники могут пересматривать доктрины и спорные случаи, но они полагаются на качество представленной информации. Чтобы контроль был значимым, защитные механизмы должны включать контрольные журналы (audit trails), раскрывающие, какие данные повлияли на модель, метрики достоверности, которые калиброваны и понятны проверяющим-людям, и обязательную верификацию по второму каналу для рекомендаций с высокими последствиями. Ряд ученых и технологов утверждают, что эти меры защиты должны быть официально закреплены в обязывающих протоколах, а не в ситуативных внутренних руководствах.

Технологические, этические пробелы и пробелы в подотчетности

Вопрос подотчетности также остается неясным. Если ИИ выдает ранжированный список, а оператор-человек принимает его под давлением времени, кто несет юридическую и моральную ответственность в случае гибели гражданского населения? Нормы цепочки командования и внутренние комиссии по проверке могут проследить вину вверх по иерархии, но пострадавшие и общественность будут требовать прозрачных, независимых механизмов расследования. Это означает необходимость надежного протоколирования, сохранения необработанных данных с датчиков и выходных данных моделей, а также процедур, позволяющих проводить внешний криминалистический анализ — ничего из этого не является стандартом для нынешних прототипов.

Последствия для будущих войн и политики

Внедрение генеративного ИИ в рабочие процессы целеуказания сейчас сформирует практику ведения боевых действий на годы вперед. Если на ранних этапах развертывания будет принята более высокая частота ошибок ради скорости, доктрина и обучение адаптируются к этому компромиссу — а противники научатся этим пользоваться. И наоборот, строгий, основанный на доказательствах подход, требующий внешней валидации, ред-тиминга и законодательно закрепленной верификации, замедлит внедрение, но со временем может привести к созданию моделей, которые действительно снижают риски.

Политики стоят перед выбором между быстрым операционным преимуществом и более медленной работой по созданию проверяемой безопасности. Некоторые аналитики призывают к созданию официальных рамок тестирования, проведению независимых аудитов и слушаний в Конгрессе для взвешивания стратегических выгод по сравнению с этическими и юридическими издержками. Другие настаивают на принятии международных норм или договоров, ограничивающих сферу применения помощи ИИ в принятии решений о применении силы, утверждая, что техническая непредсказуемость непроверенных генеративных моделей является плохой основой для суждений о жизни и смерти.

На данный момент действия Пентагона иллюстрируют более широкую закономерность: организации в сферах здравоохранения, финансов и обороны спешат внедрить способные, но несовершенные модели в критически важные рабочие процессы. Медицинское исследование из Mount Sinai напоминает, что беглость изложения не означает истинность, и что тщательная, специализированная оценка обязательна, когда на кону стоят человеческие жизни. Если фраза «Пентагон близок к использованию непроверенного ИИ» описывает операционную реальность этой недели, важным остается вопрос о том, как министерство обороны и институты надзора будут измерять, ограничивать и управлять этими системами, прежде чем ошибки станут трагедиями.

Пока не будут внедрены надежные, прозрачные режимы тестирования и юридические гарантии, предупреждают эксперты, единственным ответственным путем является осторожность: замедление темпов развертывания, требование стресс-тестирования в условиях противодействия для каждой модели и настаивание на журналах регистрации данных экспертного уровня и независимом обзоре. Эти шаги не устранят риск, но они являются минимумом, необходимым для перехода от непроверенной вспомогательной функции к надежному инструменту ведения войны.

Источники

• Icahn School of Medicine at Mount Sinai (исследование восприимчивости БЯМ к медицинской дезинформации)
• The Lancet Digital Health (рецензируемое издание, опубликовавшее исследование Mount Sinai)
• U.S. Department of Defense (политические брифинги и планирование интеграции ИИ в целеуказание)