激进组织开始利用AI工具

人工智能
Militant Groups Embrace AI Tools
国家安全官员表示,“伊斯兰国”分支机构及其他极端组织正在尝试利用生成式AI进行宣传、网络攻击和翻译。随着功能强大的工具变得廉价且普及,这种威胁可能会进一步增长。专家和立法者正推动更快速的信息共享、更强大的检测手段以及国际规范,以削弱其潜在风险。

极端主义网络如何将人工智能纳入其工具箱

2025年12月15日,来自 Associated Press 和 PBS 的报道强调了 artificial intelligence 扩散的一个新前沿:松散的武装和极端主义网络正在测试生成式模型,以加强招募、制作深度伪造 (deepfake) 图像和音频、自动化翻译并强化网络行动。这些信息直白而实用——一名亲伊斯兰国 (Islamic State) 的用户最近用英语告诉支持者,“人工智能最好的地方之一就是它非常易于使用”,并敦促他们将该技术纳入其行动。这种在线告诫反映了令安全官员担忧的基本逻辑:廉价、强大的人工智能降低了产生恶意影响的门槛。

武装分子如今如何使用人工智能

研究人员和监测机构报告了几种反复出现的用途。各团体重新利用公共生成式模型来创建逼真的照片和视频,并在社交平台上分享;他们制作了领导人的深度伪造音频,并利用人工智能在数小时内将消息翻译成多种语言;他们还开始开展旨在喂养社交算法的针对性虚假信息活动。SITE Intelligence Group 记录的案例包括在以色列-哈马斯战争期间流传的篡改图像,以及俄罗斯一场致命音乐会袭击后由人工智能制作的宣传内容。在其他案例中,攻击者在诈骗和网络钓鱼行动中使用合成音频冒充官员。

这些策略并非全是高科技奇迹:大部分工作依赖于现成工具和人类创意。但结合社交媒体的放大效应,它们可以改写叙事、传播恐惧并招募远超出小型组织触及范围的同情者。正如一位前 NSA 漏洞研究员、现任行业高管所说:“有了人工智能,即使是一个没有多少资金的小团体也依然能够产生影响。”

威胁为何在不断增长

三个技术趋势使问题呈现出不对称性并正在加速。首先,生成式模型——文本、图像和语音——已变得广泛可用,且无需专业培训即可轻松操作。其次,模型可以链式运行:语言模型可以起草宣传内容,然后由图像模型进行插图,而翻译工具则为新受众提供内容本地化。第三,商品化的计算和云服务让行动者能够自动化重复性任务,从抓取网络钓鱼的目标列表到合成数千条个性化信息。

这种结合至关重要,因为它将规模转化为影响力。旨在奖励参与度的社交平台会乐于放大生动、易于分享的内容;一个极具说服力的深度伪造或一篇煽动性的翻译帖子可以迅速传播,加剧极化或在过去几十年无法触及的地方进行招募。

从在线宣传到战场工具

安全分析师还担心宣传之外的行动应用。Department of Homeland Security 最近的威胁评估明确指出,人工智能可能帮助非国家行为体和孤狼攻击者弥补技术短板——包括协助网络攻击,更令人警惕的是,协助生物或化学威胁的工程化。虽然这些场景难度更大、资源消耗更多,但 DHS 和其他机构表示,随着模型和数据集能力的增长以及实验室和工具变得更容易获取,不能排除这些可能性。

与此同时,传统军事领域对人工智能的使用——如卫星图像自动分析、无人机瞄准辅助和物流优化——提供的模型和功能,可供武装团体以较低精度观察和模仿。乌克兰战争一直是许多此类技术的试验场:军队利用人工智能筛选大量图像和视频以寻找目标并管理供应链,这种快速创新的模式可能会激发或外溢至非正规武装和代理人。

具体风险与近期案例

  • 大规模招募:人工智能工具有助于制作多语言、情感定制的宣传内容,招募人员可以将其推送给同情受众。
  • 深度伪造与欺骗:捏造的图像和音频已被用于煽动冲突、侵蚀信任,并冒充领导人进行勒索或触发现实世界的反应。
  • 网络行动:攻击者利用人工智能起草复杂的网络钓鱼消息、编写漏洞利用代码,并在入侵行动中自动化任务。

分析师指出,在发生引人注目的袭击后,曾流传合成图像,且有记录显示某些团体曾为支持者举办关于如何使用人工智能进行内容制作的培训。立法者作证称,伊斯兰国 (Islamic State) 和基地组织 (al-Qaida) 的分支机构都举办过研讨会,教授支持者使用生成式工具。

官员和专家的建议

政策应对正在多条战线上展开。在华盛顿,立法者敦促商业人工智能开发商与政府机构之间加强信息共享,以便公司能够标记滥用行为并合作进行检测。参议院情报委员会首席民主党人、参议员 Mark Warner 表示,易用型模型的公开亮相清楚地表明,生成式人工智能将吸引各种恶意行为体。美国众议院已通过立法,要求国土安全官员每年评估来自极端主义团体的人工智能风险。两党成员都要求各机构加快与行业在红队演练 (red-teaming) 和滥用报告途径方面的合作。

技术措施也正在推进中。公司和研究人员正致力于开发生成媒体的溯源和水印系统、检测合成内容的分类器,以及对可疑自动化账号进行限流或封禁的平台执法手段。与此同时,民权倡导者警告称,如果检测系统设计不当,可能会导致过度监控并存在审查合法言论的风险。

局限性与艰难的选择

缓解威胁需要艰难的权衡。遏制生成式工具的传播可能会减缓医疗、气候建模和物流领域的有益用途——而允许自由访问则增加了滥用空间。在国际上,一些国家和美国数十个州已经通过或提议法律来限制某些类型的深度伪造;联邦政府也采取了措施,例如宣布冒充公职人员的人工智能生成自动语音电话为非法。但关于自主武器和非国家使用人工智能的具有约束力的全球协议在政治上仍然难以达成。

研究军事人工智能的专家警告说,没有万灵药。Center for a New American Security 的 Paul Scharre 指出,战争会加速创新;剧烈的冲突持续时间越长,危险技术的传播速度就越快。网络安全从业者强调,检测和平台设计方面的小型、低成本改进——结合更好的用户素养和富有韧性的机构——可以削弱许多攻击。然而,正如一位网络安全首席执行官告诉记者的那样:“对于任何对手来说,人工智能确实让事情变得容易得多。”

未来关注点

预计未来一年将出现三个可衡量的趋势:人工智能赋能的宣传和欺诈案例将更加频繁地公开出现;立法者敦促开发商透明化和强制性滥用报告的压力将有所增加;针对平台和政府的检测工具市场将不断扩大。各机构也将越来越多地警示人工智能与生物风险的交集,随着建模和合成工具的发展,将持续审视这一课题。

对于从业者和公众来说,眼前的任务是切实可行的:加强对极端主义频道的监测,建立健全的机制供开发商在不侵犯用户隐私的情况下报告滥用行为,并投资于平台可以大规模部署的快速、可解释的检测工具。如果不采取这些措施,廉价的生成式人工智能将继续充当那些已经找到将信息和技术武器化手段的行为体的力量倍增器。

来源

  • Department of Homeland Security (国土安全威胁评估)
  • SITE Intelligence Group (极端主义活动监测)
  • Center for a New American Security (人工智能与战争分析)
  • National Security Agency (漏洞研究与公开评论)
  • 美国国会关于极端主义威胁与人工智能的听证会
Mattias Risberg

Mattias Risberg

Cologne-based science & technology reporter tracking semiconductors, space policy and data-driven investigations.

University of Cologne (Universität zu Köln) • Cologne, Germany

Readers

Readers Questions Answered

Q 极端组织目前如何使用人工智能?
A 极端组织重新利用公开的生成式模型来制作逼真的宣传图像和视频,生成领导人的深度伪造音频,在数小时内将信息翻译成多种语言,并运行旨在满足社交算法的定向虚假信息活动;一些组织利用合成语音进行欺诈,尽管大部分工作仍依赖于现成工具和人类创意。
Q 哪些因素正在推动这种威胁的增长?
A 三大技术趋势使问题呈现非对称性且在加速恶化:生成式模型已广泛普及且易于操作;模型可以进行链式操作——起草语言内容后为其配图或为新受众进行翻译;商品化的计算和云服务实现了网络钓鱼目标抓取和大规模消息推送等重复性任务的自动化。
Q 官员们担心哪些操作性风险?
A 安全分析师担心人工智能可能帮助非国家行为者和孤狼袭击者弥补技术短板,包括网络攻击,以及更令人担忧的生物或化学威胁工程;武装团体可能会观察并以较低精度模仿传统的军事人工智能用途,如卫星图像分析、无人机瞄准辅助和物流优化。
Q 正在采取哪些政策应对措施?
A 立法者敦促商业人工智能开发商与政府机构之间加强信息共享,以便标记滥用行为并开展检测合作;制定每年评估极端组织人工智能风险的立法;加速行业在红队测试和滥用举报方面的协作;开发溯源和水印技术、检测分类器以及平台执行机制,以对可疑自动化账号进行限流或封禁;这些努力同时也伴随着对公民自由的担忧。

Have a question about this article?

Questions are reviewed before publishing. We'll answer the best ones!

Comments

No comments yet. Be the first!