ИИ ARTEMIS превзошел 90% специалистов по тестированию на проникновение

ARTEMIS превосходит большинство людей-пентестеров в реальных испытаниях

Когда в этом месяце группа ноутбуков и терминалов с обилием скриптов начала зондирование разветвленной университетской сети, насчитывающей около 8 000 хостов, злоумышленниками была не команда хакеров-людей, работающих в выходные. Это была ARTEMIS: мультиагентная система искусственного интеллекта, разработанная исследователями из Stanford и протестированная в сотрудничестве с Carnegie Mellon и отраслевым партнером Gray Swan AI. В статье, опубликованной на сервере препринтов на этой неделе, сообщается, что ARTEMIS заняла второе место в общем зачете соревнований, подготовила девять подтвержденных отчетов об уязвимостях с показателем достоверности 82% и превзошла девять из десяти профессиональных специалистов по тестированию на проникновение.

Этот эксперимент является одним из первых крупномасштабных очных сравнений агентного ИИ-инструментария для ред-тиминга с квалифицированными специалистами-людьми, работающими в операционной, приближенной к производственной среде. Эта обстановка имела значение: она подвергла ИИ воздействию шума, идиосинкразий аутентификации и интерактивных элементов пользовательского интерфейса, которые часто опускаются в симулированных бенчмарках. Результат дает более четкое представление о том, в чем автономные агенты безопасности уже соответствуют людям или превосходят их, а в чем они все еще уступают.

Архитектура и рабочий процесс ARTEMIS

ARTEMIS — это не единая монолитная модель, а целая экосистема. На вершине находится супервизор, который планирует и делегирует задачи; под ним — рой субагентов, выполняющих целевые задачи, такие как сканирование, попытки эксплуатации и сбор информации; а модуль триажа проверяет потенциальные находки перед их отправкой в отчет. Команда описывает динамическую генерацию промптов, произвольных субагентов, адаптированных как краткосрочные специалисты, и автоматизированный триаж уязвимостей как ключевые инновации, обеспечивающие ARTEMIS широту охвата и настойчивость.

Такая мультиагентная компоновка обеспечивает параллелизм — ARTEMIS может запускать множество потоков разведки и эксплуатации одновременно без перерывов и ресурсных ограничений, с которыми сталкиваются люди. Дизайн также позволяет перенастраивать субагентов на лету: когда один подход заходит в тупик, запускается другой с другим промптом и более узкой задачей. Этап триажа особенно важен; он отфильтровывает очевидные ложноположительные результаты и улучшает соотношение сигнал/шум в находках, что является частой слабостью более простых автоматизированных сканеров.

Полевые испытания: масштаб, оценка и стоимость

Полевые испытания проходили в университетской сети, охватывающей десяток подсетей и тысячи устройств. По сравнению с предыдущими оценками в стиле бенчмарков, команда намеренно выбрала эту среду для тестирования агентов в реалистичном операционном контексте. ARTEMIS выявила девять подтвержденных уязвимостей и достигла 82-процентного уровня валидации своих отчетов. Такое сочетание позволило системе занять второе место в общем зачете соревнований, опередив большинство участников-людей.

Стоимость стала еще одним откровением. Исследователи сообщают, что их самая эффективная конфигурация ARTEMIS (под названием A1) обходится примерно в $18.21 в час (затраты на облачный инференс и оркестрацию) — что значительно ниже рыночных ставок для профессиональных пентестеров, которые в исследовании цитируются на уровне около $60 в час в качестве базового ориентира. С точки зрения чистой экономики вывод ясен: организации теперь могут запускать непрерывные автоматизированные ред-тимы за долю стоимости персонала.

Сильные стороны: масштаб, настойчивость и систематическая энумерация

ARTEMIS демонстрирует преимущества, с которыми трудно сравниться человеческим командам. Система преуспевает в систематической энумерации тысяч хостов, проведении многочасовых кампаний без усталости и одновременном прощупывании нескольких целей. Там, где тестировщик-человек должен расставлять приоритеты и определять последовательность действий, ARTEMIS может распараллеливать множество линий исследования и быстро объединять результаты. В рутинном обнаружении поверхностей атак, проверке ошибок конфигурации и эксплуатации паттернов агент раз за разом оказывался быстрее и тщательнее.

Эти особенности делают ARTEMIS привлекательным инструментом повышения эффективности для команд безопасности: он может взять на себя тяжелую, повторяющуюся работу, оставляя принятие контекстуальных решений и сложное устранение последствий людям.

Ограничения и сценарии сбоев

Несмотря на впечатляющие показатели, ARTEMIS проявила заметные слабости. Она показала более высокий уровень ложноположительных результатов, чем лучшие тестировщики-люди, и испытывала трудности с процессами, насыщенными графическим интерфейсом (GUI), и интерактивными веб-интерфейсами. В статье приводится яркий пример: когда критическая уязвимость удаленного выполнения кода (RCE) потребовала навигации по веб-интерфейсу администрирования, 80% тестировщиков-людей успешно эксплуатировали ее; ARTEMIS не смогла воспроизвести эксплойт и вместо этого сообщила о находках с более низким уровнем серьезности.

Эти ограничения связаны с пробелами в восприятии и действии. Языковые модели и агенты, управляемые промптами, сильны в текстовых рассуждениях и генерации скриптов, но становятся уязвимыми там, где требуется взаимодействие на уровне пикселей, соблюдение таймингов или непредсказуемая логика фронтенда. В исследовании также отмечаются риски двойного назначения: мощный агент для ред-тиминга с открытым исходным кодом может быть перепрофилирован злоумышленниками, если не будут соблюдаться меры по смягчению последствий и практики ответственного выпуска ПО.

Сравнение с другими ИИ-агентами

Исследователи сравнили ARTEMIS с другими агентными фреймворками — в статье упоминаются ранние одноагентные системы и реализации, основанные только на языковых моделях. Эти альтернативы, включая ранее оценивавшихся агентов, показали худшие результаты по сравнению с большинством участников-людей и мультиагентными конфигурациями ARTEMIS. Исследование связывает преимущество ARTEMIS с ее схемой «супервизор/субагент/триаж» и динамическим распределением задач, а не только с объемом исходной модели.

Последствия для защитников, атакующих и политики

Практический вывод неоднозначен. С одной стороны, инструментарий типа ARTEMIS может значительно улучшить способность защитников находить проблемы на ранних стадиях, дешево и масштабно. Организации могут интегрировать автоматизированные ред-тимы в непрерывные конвейеры безопасности, быстро выявлять очевидные ошибки конфигурации и эффективнее приоритизировать исправления. С другой стороны, те же возможности снижают барьер для наступательной автоматизации: менее квалифицированные злоумышленники с помощью агентного ИИ могут проводить широкие и быстрые кампании, которые раньше требовали скоординированных усилий целых команд.

Природа двойного назначения соответствует широкой дискуссии, разворачивающейся сейчас в отраслевых и политических кругах: как раскрыть защитный потенциал, одновременно снижая риски. Команда исследователей опубликовала артефакты и компоненты с открытым исходным кодом, чтобы способствовать прозрачности и ускорению развития систем защиты. Их подход явно прагматичен: защитники должны экспериментировать с агентным инструментарием в контролируемых средах, пока облачные провайдеры, органы стандартизации и регуляторы работают над мерами предосторожности для безопасного выпуска и обнаружения неправомерного использования.

Как должны реагировать команды

Для руководителей служб безопасности немедленные шаги очевидны. Во-первых, рассматривайте автоматизированных агентов как инструменты, дополняющие, а не заменяющие человеческий опыт. Используйте их для расширения охвата и ускорения обнаружения, но сохраняйте за людьми триаж и эксплуатацию там, где требуются контекст, суждение и творческое решение проблем. Во-вторых, усильте телеметрию и обнаружение аномалий, чтобы выявлять использование атакующими агентных рабочих процессов. В-третьих, инвестируйте в процессы с участием человека (human-in-the-loop) и оркестрацию ред-тимов, которые сочетают скорость ИИ с человеческим суждением.

Наконец, игроки отрасли должны сотрудничать в создании рамок ответственного выпуска ПО, стандартизированных бенчмарков, отражающих реальную операционную сложность, и механизмов обмена данными об угрозах, настроенных на работу со скоростью ИИ-агентов.

ARTEMIS отмечает четкую точку перегиба: автономные агенты больше не являются лабораторными диковинками. В контролируемых испытаниях они могут находить больше уязвимостей в крупных сетях, чем большинство тестировщиков-людей, работать непрерывно и дешево, и менять саму суть рутинной работы по тестированию безопасности. Но они также делают видимыми остающиеся границы нынешнего ИИ — взаимодействие с GUI, нюансированная эксплуатация и последние 10–20% решения задач, где человеческая креативность все еще доминирует. Следующий этап будет посвящен внедрению этих агентов в команды и системы, спроектированные так, чтобы все преимущества оставались на стороне защиты.

Источники

• arXiv (исследовательская работа по мультиагентному тестированию на проникновение ARTEMIS)
• Stanford University (исследовательская группа и материалы исследования)
• Carnegie Mellon University (сотрудничающие исследователи)
• Gray Swan AI (отраслевой партнер и вклад в инструментарий)