ARTEMIS-KI schlägt 90 % der Penetrationstester

ARTEMIS übertrifft die meisten menschlichen Pen-Tester in einem Live-Test

Als diesen Monat ein Cluster von Laptops und skriptintensiven Terminals damit begann, ein weitläufiges Universitätsnetzwerk mit rund 8.000 Hosts zu sondieren, handelte es sich bei den Eindringlingen nicht um eine Truppe menschlicher Hacker bei einem Wochenendeinsatz. Es war ARTEMIS: ein Multi-Agenten-KI-System, das von Forschern in Stanford entwickelt und in Zusammenarbeit mit der Carnegie Mellon University und dem Industriepartner Gray Swan AI getestet wurde. Ein Papier, das diese Woche auf dem Preprint-Server veröffentlicht wurde, berichtet, dass ARTEMIS im Wettbewerb insgesamt den zweiten Platz belegte, neun validierte Schwachstellenberichte mit einer Validitätsrate von 82 % erstellte und neun von zehn professionellen menschlichen Penetrationstestern übertraf.

Das Experiment ist einer der ersten groß angelegten Direktvergleiche von agentenbasierten KI-Red-Teaming-Tools mit versierten menschlichen Spezialisten in einer operativen, produktionsnahen Umgebung. Dieses Setting ist entscheidend: Es setzte die KI dem Rauschen, den Authentifizierungs-Idiosynkrasien und den interaktiven UI-Elementen aus, die in simulierten Benchmarks oft fehlen. Das Ergebnis ist ein klareres Bild davon, wo autonome Sicherheitsagenten bereits mit Menschen gleichziehen oder diese übertreffen und wo sie noch Defizite aufweisen.

ARTEMIS-Architektur und Workflow

ARTEMIS ist kein einzelnes monolithisches Modell, sondern ein kleines Ökosystem. An der Spitze steht ein Supervisor, der plant und delegiert; darunter führt ein Schwarm von Sub-Agenten gezielte Aufgaben wie Scanning, Exploit-Versuche und Informationsbeschaffung aus; ein Triage-Modul verifiziert potenzielle Erkenntnisse, bevor sie gemeldet werden. Das Team beschreibt die dynamische Prompt-Generierung, beliebige, als kurzlebige Spezialisten konzipierte Sub-Agenten und die automatisierte Triage von Schwachstellen als Kerninnovationen, die ARTEMIS Breite und Persistenz verleihen.

Dieses Multi-Agenten-Layout ermöglicht Parallelität – ARTEMIS kann viele Reconnaissance- und Exploitation-Threads gleichzeitig ausführen, ohne die Pausen und Ressourcenbeschränkungen, mit denen Menschen konfrontiert sind. Das Design erlaubt es zudem, Sub-Agenten im laufenden Betrieb neu zu konfigurieren: Wenn ein Ansatz ins Stocken gerät, wird ein anderer mit einem neuen Prompt und einem enger gefassten Aufgabenbereich gestartet. Die Triage-Phase ist dabei besonders wichtig; sie filtert offensichtliche False Positives heraus und verbessert das Signal-Rausch-Verhältnis der Ergebnisse – eine häufige Schwäche einfacherer automatisierter Scanner.

Der Live-Test: Umfang, Bewertung und Kosten

Der Feldtest fand in einem Universitätsnetzwerk statt, das sich über ein Dutzend Subnetze und Tausende von Geräten erstreckte. Im Vergleich zu früheren Evaluierungen im Benchmark-Stil wählte das Team diese Umgebung bewusst aus, um die Agenten in einem realistischen operativen Kontext zu testen. ARTEMIS identifizierte neun valide Schwachstellen und erreichte eine Validierungsrate von 82 % für seine Einreichungen. Diese Kombination bescherte dem System den zweiten Gesamtrang im Wettbewerb, noch vor den meisten menschlichen Teilnehmern.

Auch die Kosten waren aufschlussreich. Die Forscher berichten, dass ihre effizienteste ARTEMIS-Konfiguration (bezeichnet als A1) für etwa 18,21 US-Dollar pro Stunde an Cloud-Inferenz- und Orchestrierungskosten läuft – weit unter den Marktpreisen für professionelle Penetrationstester, die in der Studie mit einer Basis von etwa 60 US-Dollar pro Stunde angegeben werden. Rein wirtschaftlich betrachtet ist die Implikation klar: Organisationen können nun kontinuierliche, automatisierte Red-Teams zu einem Bruchteil der Personalkosten betreiben.

Stärken: Skalierbarkeit, Persistenz und systematische Enumeration

ARTEMIS weist Vorteile auf, die für menschliche Teams nur schwer zu erreichen sind. Das System brilliert bei der systematischen Enumeration über Tausende von Hosts hinweg, bei mehrstündigen Kampagnen ohne Ermüdungserscheinungen und beim gleichzeitigen Sondieren mehrerer Ziele. Wo ein menschlicher Tester Prioritäten setzen und sequenziell vorgehen muss, kann ARTEMIS viele Untersuchungslinien parallelisieren und Ergebnisse schnell neu kombinieren. Bei der routinemäßigen Erkennung der Angriffsfläche, der Überprüfung von Fehlkonfigurationen und musterbasierten Exploits war der Agent wiederholt schneller und gründlicher.

Diese Eigenschaften machen ARTEMIS als Force Multiplier für Sicherheitsteams attraktiv: Er kann die mühsame, repetitive Arbeit übernehmen und hochkontextbezogene Entscheidungen sowie komplexe Fehlerbehebungen den Menschen überlassen.

Grenzen und Fehlermodi

Trotz der beeindruckenden Leistung zeigte ARTEMIS auch deutliche Schwächen. Das System produzierte eine höhere Rate an False Positives als die besten menschlichen Tester und hatte Schwierigkeiten mit GUI-lastigen Abläufen und interaktiven Weboberflächen. Das Papier hebt ein markantes Beispiel hervor: Als eine kritische Remote-Code-Execution-Schwachstelle das Navigieren durch eine webbasierte Administrations-UI erforderte, konnten 80 % der menschlichen Tester diese erfolgreich ausnutzen; ARTEMIS gelang es nicht, den Exploit zu reproduzieren, und meldete stattdessen Erkenntnisse mit geringerem Schweregrad.

Diese Einschränkungen lassen sich auf Lücken in der Wahrnehmung und Handlungsfähigkeit zurückführen. Sprachmodelle und Prompt-gesteuerte Agenten sind stark im textbasierten logischen Schließen und beim Generieren von Skripten, aber anfällig, wenn Interaktionen auf Pixelebene, präzises Timing oder unvorhersehbare Frontend-Logik erforderlich sind. Die Studie weist zudem auf Dual-Use-Bedenken hin: Ein quelloffener, leistungsstarker Red-Teaming-Agent könnte von böswilligen Akteuren zweckentfremdet werden, wenn Schutzmaßnahmen und Praktiken für eine verantwortungsvolle Veröffentlichung nicht durchgesetzt werden.

Vergleiche mit anderen KI-Agenten

Die Forscher verglichen ARTEMIS mit anderen Agenten-Frameworks – Beispiele im Papier umfassen frühere Einzel-Agenten-Systeme und Implementierungen, die allein auf Sprachmodellen basieren. Diese Alternativen, einschließlich zuvor evaluierter Agenten, schnitten im Vergleich zu den meisten menschlichen Teilnehmern und den Multi-Agenten-Konfigurationen von ARTEMIS schlechter ab. Die Studie führt den Vorsprung von ARTEMIS auf das Supervisor/Sub-Agent/Triage-Muster und die dynamische Aufgabenverteilung zurück, statt nur auf die reine Modellgröße.

Auswirkungen auf Verteidiger, Angreifer und die Politik

Das praktische Fazit ist zweigeteilt. Einerseits können Tools im Stil von ARTEMIS die Fähigkeit von Verteidigern drastisch verbessern, Probleme frühzeitig, kostengünstig und in großem Umfang zu finden. Organisationen können automatisierte Red-Teams in kontinuierliche Security-Pipelines integrieren, leicht auffindbare Fehlkonfigurationen schnell aufdecken und Patch-Arbeiten effektiver priorisieren. Andererseits senken dieselben Fähigkeiten die Hürde für die offensive Automatisierung: Weniger versierte Angreifer könnten, unterstützt durch agentenbasierte KI, breit angelegte und schnelle Kampagnen fahren, für die früher koordinierte menschliche Teams erforderlich waren.

Diese Dual-Use-Natur deckt sich mit einer breiteren Debatte, die derzeit in Industrie- und Politikkreisen geführt wird: Wie lässt sich der Nutzen für die Verteidigung erschließen, während gleichzeitig die Risiken minimiert werden. Das Studienteam hat Artefakte und Open-Source-Komponenten veröffentlicht, um Transparenz zu fördern und die Verteidigung zu beschleunigen. Ihr Ansatz ist explizit pragmatisch: Verteidiger sollten mit agentenbasierten Tools in kontrollierten Umgebungen experimentieren, während Plattform- und Cloud-Anbieter, Standardisierungsgremien und Regulierungsbehörden an Leitplanken für eine sichere Veröffentlichung und die Erkennung von Missbrauch arbeiten.

Wie Teams reagieren sollten

Für Sicherheitsverantwortliche sind die unmittelbaren Schritte klar. Erstens: Betrachten Sie automatisierte Agenten als Werkzeuge zur Ergänzung – nicht als Ersatz – menschlicher Expertise. Nutzen Sie sie, um die Abdeckung zu verbreitern und Entdeckungen zu beschleunigen, aber behalten Sie die menschliche Triage und Exploitation dort bei, wo Kontext, Urteilsvermögen und kreative Problemlösung gefragt sind. Zweitens: Stärken Sie die Telemetrie und Anomalieerkennung, um die Nutzung von agentenbasierten Workflows durch Angreifer zu identifizieren. Drittens: Investieren Sie in Human-in-the-Loop-Prozesse und Red-Team-Orchestrierung, die KI-Geschwindigkeit mit menschlichem Urteilsvermögen kombinieren.

Schließlich sollten Branchenakteure an Frameworks für eine verantwortungsvolle Veröffentlichung, standardisierten Benchmarks, die reale operative Komplexität widerspiegeln, und Mechanismen zum Austausch von Bedrohungsinformationen zusammenarbeiten, die auf Operationen in Agenten-Geschwindigkeit abgestimmt sind.

ARTEMIS markiert einen deutlichen Wendepunkt: Autonome Agenten sind keine bloßen Labor-Kuriositäten mehr. In kontrollierten Tests können sie die meisten menschlichen Tester in großen Netzwerken übertreffen, kontinuierlich und kostengünstig arbeiten und die Art und Weise, wie routinemäßige offensive Sicherheitsarbeit geleistet wird, grundlegend verändern. Sie machen aber auch die verbleibenden Grenzen aktueller KI sichtbar – GUI-Interaktion, nuancierte Exploitation und die letzten 10–20 % der Problemlösung, in denen menschliche Kreativität nach wie vor dominiert. In der nächsten Phase wird es darum gehen, diese Agenten in Teams und Systemen einzusetzen, die so konzipiert sind, dass die Vorteile auf der Seite der Verteidigung bleiben.

Quellen

• arXiv (Forschungsarbeit zu ARTEMIS Multi-Agenten-Penetrationstests)
• Stanford University (Forschungsteam und Studienmaterialien)
• Carnegie Mellon University (beteiligte Forscher)
• Gray Swan AI (Industriepartner und Tooling-Beiträge)