AI-systemet ARTEMIS överträffar 90 % av mänskliga penetrationstestare

ARTEMIS överträffar de flesta mänskliga penetrationstestare i ett live-test

När ett kluster av bärbara datorer och skripttunga terminaler började skanna av ett omfattande universitetsnätverk med ungefär 8 000 värdar denna månad, var inkräktarna inte en grupp mänskliga hackare på ett helguppdrag. De var ARTEMIS: ett multiagent-system för artificiell intelligens utvecklat av forskare vid Stanford och testat i samarbete med Carnegie Mellon och industripartnern Gray Swan AI. En rapport som publicerades på preprint-servern denna vecka meddelar att ARTEMIS rankades på andra plats totalt i tävlingen, genererade nio validerade sårbarhetsrapporter med en giltighetsgrad på 82 procent, och överträffade nio av tio professionella mänskliga penetrationstestare.

Experimentet är en av de första storskaliga jämförelserna ansikte mot ansikte mellan agentbaserade AI-verktyg för red-teaming och skickliga mänskliga specialister i en operativ, produktionsliknande miljö. Denna miljö är viktig: den exponerade AI:n för det brus, de autentiseringssärdrag och de interaktiva UI-element som simulerade prestandatester ofta utelämnar. Resultatet ger en tydligare bild av var autonoma säkerhetsagenter redan matchar eller överträffar människor, och var de fortfarande kommer till korta.

ARTEMIS arkitektur och arbetsflöde

ARTEMIS är inte en enskild monolitisk modell utan ett litet ekosystem. I toppen finns en handledare (supervisor) som planerar och delegerar; under denna finns en svärm av underagenter som utför riktade uppgifter såsom skanning, exploateringsförsök och informationsinsamling; samt en triage-modul som verifierar potentiella fynd innan de rapporteras. Teamet beskriver dynamisk promptgenerering, godtyckliga underagenter anpassade som kortlivade specialister och automatiserad sårbarhetstriagering som de kärninnovationer som ger ARTEMIS dess bredd och uthållighet.

Denna multiagent-struktur möjliggör parallellism — ARTEMIS kan köra många rekognoserings- och exploateringsprocesser samtidigt utan de pauser och resursbegränsningar som människor står inför. Designen tillåter den också att omkonfigurera underagenter i farten: när ett tillvägagångssätt stannar av, skapas en ny med en annan prompt och ett snävare uppdrag. Triage-steget är särskilt viktigt; det filtrerar bort uppenbara falska positiva resultat och förbättrar signal-brusförhållandet i fynden, vilket är en vanlig svaghet hos enklare automatiserade skannrar.

Live-testet: omfattning, poäng och kostnader

Fältförsöket ägde rum på ett universitetsnätverk som spände över ett dussin subnät och tusentals enheter. Jämfört med tidigare utvärderingar i testmiljöer valde teamet medvetet denna miljö för att testa agenter i ett realistiskt operativt sammanhang. ARTEMIS identifierade nio giltiga sårbarheter och uppnådde en valideringsgrad på 82 procent för sina inskickade bidrag. Den kombinationen placerade systemet på andra plats totalt i tävlingen och före de flesta mänskliga deltagarna.

Kostnaden var en annan ögonöppnare. Forskarna rapporterar att deras mest effektiva ARTEMIS-konfiguration (kallad A1) körs för ungefär 18,21 dollar per timme i molnbaserade inferens- och orkestreringskostnader — långt under marknadspriserna för professionella penetrationstestare, som studien anger till cirka 60 dollar per timme som basnivå. Rent ekonomiskt är implikationen tydlig: organisationer kan nu köra kontinuerliga, automatiserade red-teams till en bråkdel av personalkostnaden.

Styrkor: skala, uthållighet och systematisk enumerering

ARTEMIS uppvisar fördelar som är svåra för mänskliga team att matcha. Systemet briljerar vid systematisk enumerering över tusentals värdar, utdragna kampanjer över flera timmar utan utmattning, och simultan sondering av flera mål. Där en mänsklig testare måste prioritera och arbeta sekventiellt, kan ARTEMIS parallellisera många undersökningslinjer och snabbt kombinera resultaten. För rutinmässig upptäckt av attackytor, kontroller av felkonfigurationer och mönsterbaserade exploateringar var agenten upprepade gånger snabbare och mer uttömmande.

Dessa egenskaper gör ARTEMIS tilltalande som en kraftmultiplikator för säkerhetsteam: den kan hantera det tunga, repetitiva arbetet och överlåta beslut som kräver hög kontextförståelse och komplexa åtgärder till människor.

Begränsningar och fellägen

Trots de imponerande resultaten uppvisade ARTEMIS noterbara svagheter. Systemet genererade en högre andel falska positiva resultat än de bästa mänskliga testarna och hade svårt med GUI-tunga flöden och interaktiva webbgränssnitt. Rapporten lyfter fram ett tydligt exempel: när en kritisk sårbarhet för fjärrexekvering av kod (RCE) krävde navigering i ett webbaserat administratörsgränssnitt, lyckades 80 procent av de mänskliga testarna exploatera den; ARTEMIS misslyckades med att återskapa exploateringen och rapporterade istället fynd med lägre allvarlighetsgrad.

Dessa begränsningar kan spåras till luckor i perception och handling. Språkmodeller och promptstyrda agenter är starka på textuellt resonemang och att generera skript, men blir sköra när interaktion på pixelnivå, timing eller oförutsägbar frontend-logik krävs. Studien flaggar också för "dual-use"-risker: en kraftfull red-team-agent med öppen källkod skulle kunna användas av illasinnade aktörer om inte skyddsåtgärder och ansvarsfulla publiceringsmetoder tillämpas.

Jämförelser med andra AI-agenter

Forskarna jämförde ARTEMIS med andra agent-ramverk — exempel i rapporten inkluderar tidigare system med enskilda agenter och implementeringar baserade enbart på språkmodeller. Dessa alternativ, inklusive tidigare utvärderade agenter, underpresterade i förhållande till de flesta mänskliga deltagare och till ARTEMIS multiagent-konfigurationer. Studien tillskriver ARTEMIS övertag dess mönster med handledare/underagenter/triage och dynamisk uppdragstilldelning, snarare än enbart den råa modellstorleken.

Implikationer för försvarare, angripare och policy

Den praktiska slutsatsen är blandad. Å ena sidan kan verktyg i stil med ARTEMIS dramatiskt förbättra försvarares förmåga att hitta problem tidigt, billigt och i stor skala. Organisationer kan integrera automatiserade red-teams i kontinuerliga säkerhetspipelines, snabbt upptäcka enkla felkonfigurationer och prioritera patchningsarbete mer effektivt. Å andra sidan sänker samma förmågor tröskeln för offensiv automatisering: mindre skickliga angripare som får hjälp av agentbaserad AI skulle kunna genomföra breda, snabba kampanjer som tidigare krävde koordinerade mänskliga team.

Denna dubbla natur (dual-use) går hand i hand med en bredare diskussion som nu förs inom industri- och policykretsar: hur man låser upp defensivt värde samtidigt som man minskar riskerna. Forskningsteamet har publicerat artefakter och komponenter med öppen källkod för att främja transparens och påskynda försvarsåtgärder. Deras tillvägagångssätt är utpräglat pragmatiskt: försvarare bör experimentera med agentbaserade verktyg i kontrollerade miljöer, medan plattforms- och molnleverantörer, standardiseringsorgan och tillsynsmyndigheter arbetar på skyddsmekanismer för säker publicering och upptäckt av missbruk.

Hur team bör agera

För säkerhetsledare är de omedelbara stegen tydliga. För det första: se automatiserade agenter som verktyg som kompletterar — inte ersätter — mänsklig expertis. Använd dem för att bredda täckningen och påskynda upptäckt, men behåll mänsklig triagering och exploatering där kontext, omdöme och kreativ problemlösning krävs. För det andra: stärk telemetri och anomalidetektering för att upptäcka angripares användning av agentbaserade arbetsflöden. För det tredje: investera i "human-in-the-loop"-processer och red-team-orkestrering som kombinerar AI-snabbhet med mänskligt omdöme.

Slutligen bör branschaktörer samarbeta kring ramverk för ansvarsfull publicering, standardiserade prestandatester som återspeglar verklig operativ komplexitet, och mekanismer för hotdelning anpassade för operationer i agenthastighet.

ARTEMIS markerar en tydlig brytpunkt: autonoma agenter är inte längre laboratoriekuriositeter. I kontrollerade tester kan de hitta fler brister än de flesta mänskliga testare på stora nätverk, operera kontinuerligt och billigt, och omforma hur rutinmässigt offensivt säkerhetsarbete utförs. Men de synliggör också de kvarvarande gränserna för nuvarande AI — GUI-interaktion, nyanserad exploatering och de sista 10–20 procenten av problemlösning där mänsklig kreativitet fortfarande regerar. Nästa fas kommer att handla om att sätta dessa agenter i arbete i team och system som är utformade för att hålla fördelarna på den defensiva sidan av ekvationen.

Källor

• arXiv (forskningsrapport om ARTEMIS multiagent-penetrationstestning)
• Stanford University (forskningsteam och studiematerial)
• Carnegie Mellon University (samarbetande forskare)
• Gray Swan AI (industripartner och verktygsbidrag)