ARTEMIS 在实地测试中表现优于大多数人类渗透测试员
本月，当一组笔记本电脑和脚本密集型终端开始探测一个拥有约 8,000 台主机的庞大大学网络时，入侵者并非利用周末执行任务的人类黑客小组。他们是 ARTEMIS：一个由 Stanford 研究人员开发，并与 Carnegie Mellon 及行业合作伙伴 Gray Swan AI 协作测试的多智能体人工智能系统。本周发布在预印本服务器上的一篇论文报告称，ARTEMIS 在竞赛中总体排名第二，提交了九份经过验证的漏洞报告，准确率高达 82%，表现优于十名专业人类渗透测试员中的九位。
该实验是智能体 AI 红队工具与熟练的人类专家在操作性、类生产环境中进行的首次大规模面对面比较之一。这种环境设置至关重要：它让 AI 暴露在噪声、身份验证特异性以及交互式 UI 元素面前，而这些通常是模拟基准测试所忽略的。其结果让我们更清晰地看到，自主安全智能体在哪些方面已经达到或超过了人类，以及在哪些方面仍显不足。
ARTEMIS 的架构与工作流
ARTEMIS 并非单一的整体模型，而是一个小型生态系统。其顶层是一个负责规划和委派任务的管理员（supervisor）；底层是执行扫描、漏洞利用尝试和信息收集等特定任务的子智能体（sub-agents）群；还有一个分选模块（triage module）在候选发现被报告前对其进行核实。团队将动态提示生成、量身定制的短期专家型任意子智能体以及自动化漏洞分选描述为赋予 ARTEMIS 广度和持久性的核心创新。
这种多智能体布局实现了并行化——ARTEMIS 可以同时运行许多侦察和利用线程，而不会像人类那样面临休息和资源限制。这种设计还允许其动态重新配置子智能体：当一种方法停滞不前时，就会启动另一个带有不同提示和更窄职权的子智能体。分选阶段尤为重要；它过滤掉明显的误报，提高了发现结果的信噪比，而这正是简单自动化扫描器的常见弱点。
实地测试：规模、评分与成本
实地测试在一个涵盖十多个子网和数千台设备的大学网络中进行。与以往的基准测试评估相比，团队特意选择这一环境，以在现实的操作背景下测试智能体。ARTEMIS 识别出九个有效漏洞，其提交内容的验证率达到 82%。这一成绩使其在竞赛中总体排名第二，领先于大多数人类参与者。
成本是另一个令人大开眼界的地方。研究人员报告称，他们效率最高的 ARTEMIS 配置（标记为 A1）的云端推理和编排成本约为每小时 18.21 美元，远低于专业渗透测试员的市场价格（研究引用的基准价格约为每小时 60 美元）。从纯粹的经济层面来看，其暗示是不言而喻的：组织现在可以以极少的人力成本运行持续的、自动化的红队。
优势：规模、持久性与系统化枚举
ARTEMIS 展现出了人类团队难以匹敌的优势。它擅长跨数千台主机进行系统化枚举，能够进行数小时持续不断的活动而不会疲劳，并能同时探测多个目标。在人类测试员必须确定优先级和顺序的地方，ARTEMIS 可以并行处理多条调查线路并快速重新整合结果。对于常规的表面探测、配置错误检查和基于模式的漏洞利用，该智能体的速度和彻底程度屡次表现得更高。
这些特性使 ARTEMIS 极具吸引力，可作为安全团队的战力倍增器：它可以处理繁重、重复性的工作，而将高上下文决策和复杂的补救工作留给人类。
局限性与失效模式
尽管表现出色，ARTEMIS 也表现出明显的弱点。它的误报率高于顶尖的人类测试员，并且在处理侧重图形用户界面（GUI）的流程和交互式 Web 界面时感到吃力。论文强调了一个鲜明的例子：当一个关键的远程代码执行（RCE）漏洞需要导航 Web 管理 UI 时，80% 的人类测试员成功利用了该漏洞；而 ARTEMIS 未能复现该漏洞，转而报告了一些较低严重级别的发现。
这些局限性源于感知与行动之间的差距。语言模型和提示驱动的智能体在文本推理和生成脚本方面很强，但在需要像素级交互、时机把控或不可预测的前端逻辑时则表现得很脆弱。研究还指出了双重用途的担忧：如果不加强缓解措施和负责任的发布实践，一个开源且强大的红队智能体可能会被恶意行为者重新利用。
与其他 AI 智能体的比较
研究人员将 ARTEMIS 与其他智能体框架进行了比较——论文中的例子包括早期的单智能体系统和仅基于语言模型的实现。这些替代方案（包括之前评估过的智能体）相对于大多数人类参与者以及 ARTEMIS 的多智能体配置表现逊色。研究将 ARTEMIS 的优势归因于其“管理员/子智能体/分选”模式和动态任务分配，而非单纯依靠原始模型的大小。
对防御者、攻击者及政策的影响
实际的结论是复杂且矛盾的。一方面，ARTEMIS 风格的工具可以极大地提高防御者早期、廉价且大规模发现问题的能力。组织可以将自动化红队集成到持续安全流水线中，快速发现显而易见的配置错误，并更有效地确定修补工作的优先级。另一方面，同样的能力降低了进攻型自动化的门槛：在智能体 AI 的帮助下，技能较低的攻击者可以进行以往需要协作的人类团队才能完成的广泛、快速的攻击活动。
这种双重用途的性质与目前行业和政策界正在展开的更广泛讨论相契合：如何在降低风险的同时释放防御价值。研究团队已经发布了相关产物和开源组件，以促进透明度并加速防御。他们的方法是明确的务实主义：防御者应在受控环境中尝试智能体工具，同时平台和云提供商、标准制定机构和监管机构则应致力于制定安全发布和滥用检测的准则。
团队应如何应对
对于安全主管来说，眼前的步骤很明确。首先，将自动化智能体视为补充而非取代人类专业知识的工具。利用它们扩大覆盖范围并加速发现，但在需要上下文、判断力和创造性解决问题的环节保留人工分选和利用。其次，加强遥测和异常检测，以发现攻击者使用智能体工作流的迹象。第三，投资于“人在回路”流程和红队编排，将 AI 的速度与人类的判断力结合起来。
最后，行业参与者应在负责任的发布框架、反映真实操作复杂性的标准化基准测试以及针对智能体速度操作而优化的威胁共享机制方面进行协作。
ARTEMIS 标志着一个明确的转折点：自主智能体不再是实验室里的新鲜事物。在受控试验中，它们在大型网络上的发现能力可以超过大多数人类测试员，能够持续且廉价地运作，并重塑常规进攻型安全工作的开展方式。但它们也让当前 AI 剩余的边界变得清晰可见——GUI 交互、细微的漏洞利用以及人类创造力仍然占据统治地位的那最后 10% 到 20% 的问题解决。下一阶段的重点将是将这些智能体投入到旨在让防御端获益的团队和系统之中。
来源
- arXiv（关于 ARTEMIS 多智能体渗透测试的研究论文）
- Stanford University（研究团队及研究资料）
- Carnegie Mellon University（协作研究人员）
- Gray Swan AI（行业合作伙伴及工具贡献）
Comments
No comments yet. Be the first!