AI 对阵五角大楼:杀人机器人引发的对峙

人工智能
AI vs. Pentagon: Killer Robots Standoff
Anthropic 拒绝接受五角大楼合同中允许“任何合法用途”(包括大规模监控和全自动武器)的条款,这一立场引发了一场对峙,可能重塑军方使用商业 AI 的方式。

在五角大楼推出新的合同条款,允许军方将商业模型用于“任何合法用途”(包括国内大规模监控和自主杀伤力)不到一周后,Anthropic 表示了拒绝。该公司首席执行官公开拒绝了美国国防部的要求,导致事态升级,国防部长威胁要将其列入供应链黑名单,总统也下令联邦机构停止使用 Anthropic 的服务。这场冲突的核心词汇——AI 对阵五角大楼:杀手机器人——现在构成了一场关于私人公司在政府买家要求不受限制地访问强大模型时,依法和依伦理可以拒绝什么的全国性辩论。

AI 对阵五角大楼:杀手机器人,以及“任何合法用途”的要求

这场眼前的斗争是关于合同的,但其影响远为广泛。1 月,五角大楼传阅了更新后的条款,允许其将 AI 产品用于“任何合法用途”,五角大楼官员表示,此举旨在避免在许多不同项目中出现零散的限制。对于 Anthropic 而言,分歧点非常明确:不得对美国人进行大规模国内监控,且在没有人类介入的情况下不得使用全自主致命武器。公司将这些作为基于安全和可靠性考虑的公司级红线。

AI 对阵五角大楼:杀手机器人、大规模监控和企业红线

Anthropic 拒绝“任何合法用途”通用许可的立场值得注意,因为据报道许多竞争对手接受了五角大楼的条款。这种分歧已将类似的商业决策转变为事实上的政策选择:表示同意的公司实际上扩大了军方在只需极少进一步谈判的情况下可以开展的用途范围;而表示拒绝的公司则迫使政府寻找其他供应商或自行开发能力。科技从业者、公民自由组织和投资者都在关注,面对国家安全买家的财务和政治实力,这些企业红线是否能够守得住。

自主武器的技术和伦理风险

当记者、工程师和伦理学家使用“杀手机器人”这类简称时,他们指的是那些能够在没有实质性人类控制的情况下选择并实施致命武力的系统。技术问题依然棘手:感知错误、对抗性误报、上下文误解以及不可预测的软件故障,都可能在战斗中产生灾难性后果。AI 模型是基于数据训练的统计模式匹配器;在充满变数的高风险环境中,它们既不是道德主体,也不是可靠的决策者。

伦理风险远不止技术错误。自主杀伤力引发了问责(当机器杀人时谁负责?)、升级(对手如何应对自动化目标定位?)和歧视(机器系统可能会复制或放大偏见,将平民误认为战斗人员)等问题。许多伦理学家还警告说,如果决策回路通过自动化加速,进入冲突的政治门槛可能会降低。由于这些原因,一些决策者和倡导者敦促对没有人类控制的系统实施严格限制或禁令,而另一些人则主张在系统被证明安全之前,进行受到严格约束的研发并坚持强有力的人在回路要求。

合同法、供应链风险,以及五角大楼如何监管 AI 驱动的监控

五角大楼主要通过合同条款、审批和采购政策来监管商业技术的使用,而不是通过专门针对 AI 使用案例的统领性法律。当该部门要求承包商接受“任何合法用途”时,它是在利用合同条款来获取广泛的授权;这一措辞旨在避免在许多任务订单和项目中重复谈判。但当“合法”可能包括与执法或情报用途相关的国内监控时,这也会引发宪法和法律层面的疑问。

将供应商贴上“供应链风险”的标签是一种具有具体后果的行政工具:它可以促使联邦机构和大型国防承包商不再使用该供应商,并可能抑制第三方集成。五角大楼威胁动用《国防生产法》或类似权力,强调了采购法可以作为强迫合规的杠杆,但这些杠杆具有政治色彩,并可能引发诉讼。因此,谁来设定红线成为了一个充满争议的领域——它是公司政策、政府内部备忘录、国会监督以及有时甚至是司法审查的混合产物。

杀手机器人是真正的威胁吗?国际规则和目前的限制

自主系统被用于致命武力的风险并非假设:各国军方正积极在传感、目标定位和打击系统中推进自动化。尽管如此,世界尚未就全自主致命武器的约束性国际禁令达成一致。联合国《特定常规武器公约》已就致命自主武器系统举行了多年的讨论,但这些谈判迄今尚未产生禁止此类系统的条约。非政府组织、一些国家和科技公司联盟推动制定严格的国际限制;其他国家则抵制条约约束,寻求行动自由。

在国家层面,政策组合仍然是碎片化的:一些国家赞成严格的人在回路规则,另一些国家则强调能力和威慑。由于缺乏普适性条约,当今的大部分治理都是由出口管制、采购决策和公司政策决定的。这种碎片化正是供应商红线和私人合同具有重大影响的原因——它们填补了监管真空,但在压力之下也可能被逆转。

接下来会发生什么,以及为什么这很重要

接下来的直观步骤将是法律和政治层面的。Anthropic 表示将对任何损害其业务的认定提起诉讼;五角大楼可以向承包商和主供应商施压,以尽量减少对不合规供应商的依赖。国会可能会举行听证会,一些公益组织将寻求监督。从实际操作来看,如果机构遵守停止使用的命令,已经在运行 Anthropic 模型的联邦项目将需要过渡计划——这是一个混乱、昂贵且可能具有破坏性的过程。

除了法庭和预算细目之外,这一事件还引出了一个更广泛的问题:当国家安全客户主张业务必要性时,是否应允许商业 AI 供应商通过合同限制政府使用其技术?答案将影响未来的战争、国内治安以及公私安全伙伴关系的架构。如果市场力量和声誉压力现在是防止危险用途的主要刹车,那么在紧迫的国防需求面前,这些力量的持久性将决定民主社会是否能围绕 AI 建立有意义的护栏。

因此,Anthropic 与五角大楼之间的冲突不仅是关于一家公司的条款和一届政府的采购重点的纠纷;它还是一个关于当尖端系统遇到国家权力时,政策、技术和伦理如何碰撞的生动案例研究。公司、法院和立法机构如何解决这一问题,将影响下一代军事 AI 是受到人类判断和民主监督的约束,还是受到合同条款和幕后豁免的限制。

来源

  • 美国国防部(公开声明和采购备忘录)
  • Anthropic(公司新闻声明)
  • 白宫(公开声明和行政指示)
  • 联合国——《特定常规武器公约》(CCW) 会议报告和总结
Mattias Risberg

Mattias Risberg

Cologne-based science & technology reporter tracking semiconductors, space policy and data-driven investigations.

University of Cologne (Universität zu Köln) • Cologne, Germany

Readers

Readers Questions Answered

Q 自主武器和AI在军事应用中的伦理风险是什么?
A 自主武器带来了几项关键的伦理风险,包括无法区分平民与战斗人员、基于面部识别和生物识别数据的目标定位可能存在偏见(从而不成比例地影响少数群体),以及对关乎生死的决策失去实质性的人类控制。算法无法理解人类价值观或进行道德判断,这引发了在自主系统造成平民伤亡或针对特定群体实施选择性暴力时,有关问责制的担忧。
Q 五角大楼如何监管AI驱动的监控和大规模监控计划?
A 搜索结果中不包含有关五角大楼对AI驱动监控和大规模监控计划监管的具体信息。为了准确回答这一问题,需要参考更多专注于五角大楼监控政策和监督机制的资料。
Q AI国防政策中的“红线”意味着什么,由谁设定?
A 搜索结果未提供AI国防政策中“红线”的明确定义,也未确定由谁设定。虽然相关资料提到了自主武器的道德和法律界限,但并未具体涉及“红线”的概念或负责确立这些红线的机构参与者。
Q “杀人机器人”是真实的威胁吗?存在哪些政策来防止它们?
A 杀人机器人代表了现实的近期威胁,专家指出,自主武器的部署在几年内而非几十年内就是可行的。目前已提出了多项政策,包括呼吁全面禁止致命性自主武器系统,尽管美国政府目前不支持全面禁令,而是通过2018年白皮书等政策框架来应对伦理关切。
Q 目前监管或禁止致命性自主武器的国际努力现状如何?
A 监管致命性自主武器的国际努力仍不完整,截至目前尚未实施具有约束力的全球禁令。虽然2015年7月在一次国际AI会议上发布了呼吁禁止此类武器的公开信,但专家承认,由于AI技术的军事效用,达成全面禁令的国际共识并不现实,不过关于限制自主武器不确定性并确保实质性人类控制的框架讨论仍在继续。

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!