五角大楼即将把未经测试的 AI 用于目标选择

本周的报道披露，五角大楼正接近在关乎生死的打击目标决策中使用未经测试的人工智能（AI），从演示阶段迈向作战试点。这些试点将允许生成式模型对潜在目标列表进行排序，并生成由人类操作员随后审核的建议。简报和近期报道中描述的这一计划并未提议建立全自动化的致命系统；相反，Department of Defense 正准备将大语言模型和生成式模型作为决策辅助工具整合到目标选择工作流中。这一近期动向引起了研究人员和伦理学家的警惕，他们指出当前系统存在明确、可衡量的失效模式，且近期的医学 AI 研究表明，自信的错误建议如何在操作流程中传播。

五角大楼接近在目标选择中使用未经测试的 AI：作战转型

文件和报道表明，五角大楼正在加速实验，将战场数据输入生成式 AI 系统，以生成排序的目标列表和建议的行动方案，最终决定权留给人类。拟议的架构将 AI 视为助手而非执行者：模型将图像、信号和其他反馈综合为优先选项及支持性理由。支持者认为，这可以缩短冗长的情报周期，帮助指挥官在瞬息万变的场景中处理海量的传感器数据。

但将系统称为“助手”并不能消除操作风险。当未经审查的模型被包裹在决策流水线中时，错误可能不会以奇异的故障形式出现，而是表现为看似合理的断言——即看起来权威、措辞精炼且简短的建议。“五角大楼接近使用未经测试的 AI”这一表述捕捉到了这种张力：在行业尚未建立透明、标准化的方法来衡量对抗性环境和极端情况下的可靠性之前，机器正被准备用于产生致命后果的任务。

五角大楼接近在目标选择中使用未经测试的 AI：失效模式与医学类比

近期医学领域的学术研究为五角大楼面临的风险提供了一个具体的类比。来自 Icahn School of Medicine at Mount Sinai 的研究人员进行的一项大规模研究对领先的语言模型在临床记录上的表现进行了测试，发现如果虚假声明被嵌入到现实的文本中，模型经常会重复捏造的建议。作者将该问题表述为“该系统会传递谎言吗？”，并敦促在模型用于临床护理之前进行大规模压力测试和外部证据核查。

将这一见解转化为目标选择，生成式模型可能会接受或放大错误的信号——如贴错标签的图像、陈旧的位置元数据或敌方的欺骗战术——并提出简洁、自信的建议，人类审查员可能会认为这些建议是可信的。对手可以故意操纵输入，而常规的操作模糊性（光线不佳、遮挡或无害的平民活动）恰好可以创造出模型表面流畅性掩盖深层不确定性的条件。西奈山论文中关于可衡量的系统性测试的呼吁直接适用：必须使用对抗性、模糊且故意误导的案例来探测军事 AI，以评估它“传递”错误建议的频率。

人为监督、法律与保障措施

官员们强调，人类将始终处于回路中，且在采取任何动能行动之前必须验证 AI 的建议。人为监督架构、法律审查和既定的交战规则被列为主要的保障措施。然而在实践中，人为监督可能会受到节奏的压力：当传感器流每小时向操作员推送数十个 AI 优先选项时，审查可能会变得草率。这种动态将安全机制转变为合规性勾选框，并允许 AI 埋下的错误溜过判断门槛。

国际法和武装冲突法要求在攻击中遵循区别对待、比例性和预防原则。法律顾问可以审查条令及有争议的案例，但他们依赖于所呈现信息的质量。为了使监督具有意义，保障措施必须包括揭示哪些数据影响了模型的审计追踪、对人类审查员而言经过校准且清晰易懂的可信度指标，以及针对高后果建议的强制性第二渠道验证。多位学者和技术专家认为，这些保护措施应在具有约束力的协议中制度化，而非仅作为权宜性的内部指南。

技术、伦理与问责差距

问责制也同样模糊不清。如果 AI 给出了一份排序列表，而人类操作员在时间压力下接受了它，那么当平民受到伤害时，谁承担法律和道德责任？指挥链规范和内部审查委员会可能会向上追溯责任，但幸存者和公众将要求透明、独立的调查机制。这意味着稳健的日志记录、原始传感器数据和模型输出的留存，以及允许外部取证分析的程序——这些在目前的雏形系统中都不是标准配置。

对未来战争与政策的影响

现在将生成式 AI 引入目标选择工作流将塑造未来多年的战场实践。如果早期部署因为能提供速度而接受较高的错误率，条令和训练将适应这种权衡——而对手将学会利用这一点。相反，一种要求外部验证、红队测试和法律强制核查的严谨、证据驱动的方法虽然会减缓部署速度，但随着时间的推移，可能会产生真正降低风险的模型。

政策制定者面临着在快速作战优势与构建可验证安全这一较慢工作之间的选择。一些分析人士呼吁建立正式的测试框架、独立审计和国会监督听证会，以衡量战略利益与伦理法律成本。其他人则敦促制定国际规范或条约，以限制 AI 在致命决策中的辅助范围，认为未经测试的生成式模型在技术上的不可预测性，是进行生死抉择的糟糕基础。

目前，五角大楼的举动反映了一个更广泛的模式：医疗、金融和国防领域的组织正急于将能力强大但并不完善的模型嵌入到关键工作流中。西奈山的医学研究提醒我们，流畅性不等于真理，且当涉及到人类生命时，严格的特定领域评估是不可逾越的底线。如果“五角大楼接近使用未经测试的 AI”描述的是本周的作战现实，那么重要的问题仍然是，Department of Defense 和监督机构如何在错误酿成悲剧之前衡量、限制并治理这些系统。

专家警告称，在稳健、透明的测试机制和法律保障到位之前，唯一负责任的道路是谨慎：放慢部署节奏，要求逐个模型进行对抗性压力测试，并坚持使用取证级日志和独立审查。这些步骤不会消除风险，但它们是从未经测试的辅助能力转向可靠战争工具所需的最低限度。

来源

• Icahn School of Medicine at Mount Sinai（关于大语言模型对医疗错误信息敏感性的研究）
• The Lancet Digital Health（西奈山研究的同行评审发表平台）
• U.S. Department of Defense（关于目标选择中 AI 整合的政策简报与规划）