AI ARTEMIS skuteczniejsza niż 90% pentesterów

ARTEMIS przewyższa większość ludzkich pentesterów w testach na żywo

Gdy w tym miesiącu grupa laptopów i terminali pełnych skryptów zaczęła badać rozległą sieć uniwersytecką liczącą około 8 000 hostów, intruzami nie był zespół ludzkich hakerów pracujących w weekend. Był to ARTEMIS: wieloagentowy system sztucznej inteligencji opracowany przez badaczy ze Stanford i przetestowany we współpracy z Carnegie Mellon oraz partnerem branżowym Gray Swan AI. Artykuł opublikowany w tym tygodniu na serwerze preprintów donosi, że ARTEMIS zajął drugie miejsce w ogólnej klasyfikacji zawodów, wygenerował dziewięć zweryfikowanych raportów o podatnościach z 82-procentowym wskaźnikiem trafności i osiągnął lepsze wyniki niż dziewięciu na dziesięciu zawodowych specjalistów od testów penetracyjnych.

Eksperyment ten jest jednym z pierwszych na dużą skalę bezpośrednich porównań agentowych narzędzi AI typu red-team z wykwalifikowanymi ludzkimi specjalistami działającymi w środowisku operacyjnym, zbliżonym do produkcyjnego. To ustawienie ma znaczenie: naraziło AI na szumy, specyficzne cechy uwierzytelniania i interaktywne elementy interfejsu użytkownika, które symulowane testy porównawcze (benchmarki) często pomijają. Wynikiem jest wyraźniejszy obraz tego, gdzie autonomiczni agenci bezpieczeństwa już teraz dorównują ludziom lub ich przewyższają, a gdzie wciąż ustępują.

Architektura i workflow systemu ARTEMIS

ARTEMIS nie jest pojedynczym, monolitycznym modelem, lecz niewielkim ekosystemem. Na jego szczycie znajduje się nadzorca, który planuje i deleguje zadania; pod nim rój podagentów wykonuje konkretne zadania, takie jak skanowanie, próby eksploitacji i gromadzenie informacji; a moduł weryfikacji (triage) sprawdza potencjalne znaleziska przed ich zaraportowaniem. Zespół opisuje dynamiczne generowanie promptów, dowolne podagenty dostosowane jako krótkotrwali specjaliści oraz zautomatyzowaną selekcję podatności jako kluczowe innowacje, które zapewniają ARTEMIS szeroki zasięg i wytrwałość.

Taki wieloagentowy układ umożliwia równoległość działań – ARTEMIS może prowadzić wiele wątków rozpoznania i eksploitacji jednocześnie, bez przerw i ograniczeń zasobów, z którymi borykają się ludzie. Projekt pozwala również na rekonfigurację podagentów w locie: gdy jedno podejście utknie w martwym punkcie, uruchamiany jest inny podagent z innym promptem i węższym zakresem zadań. Etap selekcji (triage) jest szczególnie istotny; odfiltrowuje on oczywiste wyniki fałszywie dodatnie i poprawia stosunek sygnału do szumu w znaleziskach, co jest częstą słabością prostszych skanerów automatycznych.

Testy na żywo: skala, punktacja i koszty

Próba terenowa odbyła się w sieci uniwersyteckiej obejmującej kilkanaście podsieci i tysiące urządzeń. W porównaniu do wcześniejszych ewaluacji typu benchmark, zespół celowo wybrał to środowisko, aby przetestować agenty w realistycznym kontekście operacyjnym. ARTEMIS zidentyfikował dziewięć prawidłowych podatności i uzyskał 82-procentowy wskaźnik walidacji swoich zgłoszeń. Taka kombinacja pozwoliła mu zająć drugie miejsce w ogólnej klasyfikacji zawodów, wyprzedzając większość ludzkich uczestników.

Koszty były kolejnym zaskoczeniem. Badacze informują, że ich najbardziej wydajna konfiguracja ARTEMIS (oznaczona jako A1) działa przy kosztach inferencji w chmurze i orkiestracji wynoszących około 18,21 USD na godzinę – znacznie poniżej rynkowych stawek dla profesjonalnych pentesterów, które badanie przyjmuje na poziomie bazowym blisko 60 USD za godzinę. W kategoriach czystej ekonomii implikacja jest jasna: organizacje mogą teraz prowadzić ciągłe, zautomatyzowane działania typu red-team za ułamek kosztów personelu.

Mocne strony: skala, wytrwałość i systematyczna enumeracja

ARTEMIS wykazuje zalety, którym ludzkim zespołom trudno dorównać. Doskonale radzi sobie z systematyczną enumeracją tysięcy hostów, prowadzeniem wielogodzinnych kampanii bez zmęczenia oraz jednoczesnym badaniem wielu celów. Tam, gdzie ludzki tester musi ustalać priorytety i kolejność działań, ARTEMIS może zrównoleglić wiele linii dochodzenia i szybko łączyć wyniki. W przypadku rutynowego odkrywania powierzchni ataku, sprawdzania błędnych konfiguracji i exploitów opartych na wzorcach, agent był wielokrotnie szybszy i bardziej drobiazgowy.

Cechy te sprawiają, że ARTEMIS jest atrakcyjny jako mnożnik siły dla zespołów ds. bezpieczeństwa: może przejąć ciężką, powtarzalną pracę, pozostawiając ludziom decyzje wymagające szerszego kontekstu i złożone procesy naprawcze.

Ograniczenia i tryby awaryjne

Pomimo imponujących wyników, ARTEMIS wykazał zauważalne słabości. Generował wyższy odsetek wyników fałszywie dodatnich niż najlepsi ludzcy testerzy i miał trudności z procesami opartymi w dużej mierze na GUI oraz interaktywnymi interfejsami webowymi. Artykuł przytacza uderzający przykład: gdy krytyczna podatność na zdalne wykonanie kodu (RCE) wymagała nawigacji w administracyjnym interfejsie webowym, 80% ludzkich testerów skutecznie ją wykorzystało; ARTEMIS nie zdołał powtórzyć exploita, zgłaszając zamiast tego znaleziska o niższym stopniu ważności.

Ograniczenia te wynikają z luk w percepcji i działaniu. Modele językowe i agenty sterowane promptami są mocne w rozumowaniu tekstowym i generowaniu skryptów, ale zawodne tam, gdzie wymagana jest interakcja na poziomie pikseli, wyczucie czasu lub nieprzewidywalna logika frontendu. Badanie zwraca również uwagę na obawy dotyczące podwójnego zastosowania: potężny agent red-team typu open-source mógłby zostać wykorzystany przez cyberprzestępców, jeśli nie zostaną wdrożone środki zaradcze i zasady odpowiedzialnego udostępniania.

Porównanie z innymi agentami AI

Badacze porównali ARTEMIS z innymi strukturami agentowymi – przykłady w artykule obejmują wcześniejsze systemy jednoagentowe oraz implementacje oparte wyłącznie na modelach językowych. Te alternatywy, w tym wcześniej oceniani agenci, radziły sobie gorzej niż większość ludzkich uczestników i wieloagentowe konfiguracje ARTEMIS. Badanie przypisuje przewagę ARTEMIS jego schematowi nadzorca/podagent/weryfikacja oraz dynamicznemu przydzielaniu zadań, a nie tylko samej wielkości modelu.

Konsekwencje dla obrońców, atakujących i polityki

Wnioski praktyczne są mieszane. Z jednej strony narzędzia w stylu ARTEMIS mogą radykalnie poprawić zdolność obrońców do wczesnego, taniego i masowego wykrywania problemów. Organizacje mogą integrować zautomatyzowane zespoły red-team z procesami ciągłego bezpieczeństwa, szybko ujawniać łatwe do naprawienia błędy konfiguracji i skuteczniej ustalać priorytety patchowania. Z drugiej strony te same możliwości obniżają barierę dla ofensywnej automatyzacji: słabiej wyszkoleni napastnicy wspomagani przez agentowe AI mogliby prowadzić szerokie, szybkie kampanie, które wcześniej wymagały skoordynowanych zespołów ludzkich.

Ten charakter podwójnego zastosowania wpisuje się w szerszą dyskusję toczącą się obecnie w kręgach branżowych i politycznych: jak odblokować wartość defensywną przy jednoczesnym ograniczeniu ryzyka. Zespół badawczy opublikował artefakty i komponenty open-source, aby wspierać przejrzystość i przyspieszyć rozwój obrony. Ich podejście jest wyraźnie pragmatyczne: obrońcy powinni eksperymentować z narzędziami agentowymi w kontrolowanych środowiskach, podczas gdy dostawcy platform i chmury, organy normalizacyjne i regulatorzy pracują nad barierami ochronnymi dla bezpiecznego udostępniania i wykrywania nadużyć.

Jak powinny zareagować zespoły

Dla liderów bezpieczeństwa natychmiastowe kroki są jasne. Po pierwsze, należy traktować zautomatyzowane agenty jako narzędzia uzupełniające – a nie zastępujące – ludzką wiedzę. Używaj ich do rozszerzania zakresu testów i przyspieszania wykrywania podatności, ale pozostaw ludziom weryfikację i eksploitację tam, gdzie wymagany jest kontekst, osąd i kreatywne rozwiązywanie problemów. Po drugie, wzmocnij telemetrię i detekcję anomalii, aby wykrywać wykorzystanie procesów agentowych przez napastników. Po trzecie, inwestuj w procesy z „człowiekiem w pętli” (human-in-the-loop) oraz orkiestrację red-teamu, która łączy szybkość AI z ludzkim osądem.

Wreszcie, gracze rynkowi powinni współpracować nad ramami odpowiedzialnego udostępniania oprogramowania, ustandaryzowanymi benchmarkami odzwierciedlającymi rzeczywistą złożoność operacyjną oraz mechanizmami wymiany informacji o zagrożeniach dostosowanymi do działań z szybkością agentów.

ARTEMIS wyznacza wyraźny punkt zwrotny: autonomiczni agenci nie są już tylko laboratoryjną ciekawostką. W kontrolowanych próbach potrafią wykryć więcej niż większość ludzkich testerów w dużych sieciach, działać w sposób ciągły i tani oraz zmieniać sposób wykonywania rutynowych prac w zakresie ofensywnego bezpieczeństwa. Uwidaczniają jednak również obecne granice AI – interakcję z GUI, niuansową eksploitację oraz ostatnie 10–20% rozwiązywania problemów, gdzie wciąż rządzi ludzka kreatywność. Następny etap będzie polegał na wdrożeniu tych agentów do pracy w zespołach i systemach zaprojektowanych tak, aby korzyści pozostały po stronie obrony.

Źródła

• arXiv (artykuł naukowy na temat wieloagentowych testów penetracyjnych ARTEMIS)
• Stanford University (zespół badawczy i materiały z badania)
• Carnegie Mellon University (współpracujący badacze)
• Gray Swan AI (partner branżowy i wkład w narzędzia)