Schaut man sich den gesamten zeitlichen Ablauf dieses außergewöhnlichen „Coups“ etwas genauer an, findet man an mehreren Stellen Auffälligkeiten. Diese geben nicht nur Cyberverantwortlichen noch etwas Grund zur Hoffnung - zumindest, was die aktuelle Bedrohungslage betrifft.
Ganz nüchtern betrachtet hatten vor einigen Wochen die Fähigkeiten von Anthropic's Mythos weltweit für Aufsehen gesorgt. Vor allem bei der automatisierten Erkennung von Schwachstellen konnte das Modell des wichtigsten OpenAI-Konkurrenten beeindruckende Ergebnisse vorweisen.
Auch andere Entwicklungen liefen für OpenAI zuletzt nicht unbedingt optimal. Immer mehr Nutzer:innen wechselten zu Anthropic und zumindest in der öffentlichen Wahrnehmung entstand der Eindruck, Anthropic würde OpenAI langsam den Rang ablaufen.
Gleichzeitig strebt OpenAI einen Börsengang mit einer möglichen Bewertung von mehr als 1.000 Milliarden Dollar an – richtig gelesen: eine Eins mit zwölf Nullen. Diese Ankündigung hat für große Aufregung unter den renommierten News-Anbietern wie dem Standard oder der Zeit gesorgt.
Was wann geschah – und was es zu bedeuten hat
Schaut man sich die zeitliche und inhaltliche Abfolge hinter den Schlagzeilen genauer an, fallen jedenfalls einige interessante Details auf:
Am Donnerstag, dem 16. Juli, also vor sieben Tagen, veröffentlichte Hugging Face, das „Opfer“ des Angriffs, eine „Security Incident Disclosure“ auf seiner Website. Darin berichtete das Unternehmen von einem hochkomplexen, modernen und durch KI-Agenten orchestrierten Angriff auf interne Unternehmenssysteme. Zu diesem Zeitpunkt war der Vorfall bereits ausführlich analysiert worden. Hugging Face schrieb, der Angriff habe sich „earlier this week“ ereignet. Er dürfte daher am Montag oder Dienstag stattgefunden haben und nicht erst am Wochenende. Zum Zeitpunkt der Veröffentlichung waren also zumindest zwei oder drei Tage vergangen. Sie selbst wussten zu diesem Zeitpunkt nach eigenen Angaben noch nicht genau, welches Modell hinter dem Angriff stand oder wer der verantwortliche Akteur war. Das Unternehmen bezeichnete den Vorfall aber bereits als einen Wendepunkt für KI-gestützte Cyberangriffe:
„Autonomous, AI-driven offensive tooling is no longer theoretical.“
Autonome, KI-gesteuerte Angriffswerkzeuge sind also keine Theorie mehr.
Am Dienstag, dem 21. Juli, also vor zwei Tagen, berichtete dann OpenAI auf seiner Website, dass OpenAI und Hugging Face gemeinsam einen aufsehenerregenden Sicherheitsvorfall untersuchten. Dieser war während eines Tests bei OpenAI entstanden. Der Test dürfte zu Beginn der Vorwoche stattgefunden haben.
Verwendet wurde eine Testumgebung mit dem Namen „ExploitGym“. Dabei ging es vermutlich darum herauszufinden, wie gut dieses spezielle Modell in einer agentischen Umgebung mit Schwachstellen umgehen kann: Kann es Schwachstellen finden, analysieren und möglicherweise auch tatsächlich ausnutzen? Zumindest deutet der Projektname sehr stark darauf hin.
Für den Test wurde das Modell von seinen üblichen Guardrails befreit. Es musste Aufgaben lösen, die OpenAI bisher nicht genauer beschrieben hat.
Im Blog-Artikel erklärt OpenAI lediglich, dass die Benchmarks in einer stark isolierten Umgebung ausgeführt wurden, einer Sandbox, vom Internet abgeschottet. Der KI-Agent hatte allerdings Zugriff auf einen Paketmanager, über den bei Bedarf zusätzliche Software oder Softwarepakete installiert werden konnten.
Zwei denkbare Szenarien und trotzdem bleiben Fragen offen
Szenario 1: ein theoretischer Test
Man gibt dem Modell theoretische Aufgaben und Denkszenarien. Der Agent soll beschreiben, wie er vorgehen würde, um ein bestimmtes Problem zu lösen.
Dafür könnte man eine stark isolierte Sandbox verwenden.
Allerdings wäre in diesem Fall ein Zugriff auf einen Paketmanager kaum notwendig. Außerdem würde man die Aufgaben vermutlich so gestalten, dass sie mit den innerhalb der Umgebung verfügbaren Mitteln lösbar sind.
Findet das Modell die Antwort stattdessen dadurch, dass es auf sehr komplexe Weise aus der Testumgebung ausbricht, in die Systeme eines anderen Unternehmens eindringt und dort nach der Lösung sucht, stellt sich natürlich die Frage, ob das Modell die Fragestellung wirklich effektiv gelöst hat oder nicht auf eine sehr unnötig komplexe Art und Weise.
Eine rein theoretische Aufgabenstellung wäre für einen solchen Test außerdem nur begrenzt aussagekräftig.
Szenario 2: ein praktischer Angriffstest
Man möchte praktisch herausfinden, ob und wie das Modell Schwachstellen tatsächlich ausnutzen kann. Gleichzeitig will man testen, wie fokussiert es an einem Ziel arbeitet und welche Hindernisse es dafür überwindet. In diesem Fall würde man zwar eine isolierte Umgebung bereitstellen, aber vermutlich keine Umgebung, in der es überhaupt keine Schwachstellen gibt. Sonst wäre der Test an sich wenig sinnvoll.
Ein eingeschränkter Zugang nach außen, etwa über einen Paketmanager, wäre in einem solchen Aufbau durchaus denkbar.
Unabhängig davon, wie das konkrete Testszenario gestaltet war, müsste man den Ablauf sehr genau überwachen. Entweder während des Tests oder zumindest unmittelbar danach müsste nachvollzogen werden, welche einzelnen Schritte der Agent ausgeführt hat. Bei einem solchen Test müsste man außerdem damit rechnen, dass das Modell versucht, die Umgebung zu verlassen. Entsprechend müsste auch der äußere Rand der Sandbox, also ihr technischer Perimeter, besonders genau überwacht werden.
Ein Ausbruch aus der Testumgebung sollte unter solchen Laborbedingungen daher mit hoher Wahrscheinlichkeit erkennbar sein. Damit müsste eigentlich auch sichtbar werden, auf welche externen Systeme der Agent zugreift oder in welches andere Unternehmen er einzudringen versucht. Überschreitet ein Agent die ursprünglich festgelegten Grenzen des Tests, würde man als verantwortungsvoller Betreiber normalerweise die Reißleine ziehen.
Man würde den Zugang stoppen und das betroffene Unternehmen informieren.
Dem ersten Bericht von Hugging Face vom 16. Juli lässt sich allerdings entnehmen, dass Hugging Face selbst mehrere Tage nach dem Ausbruch „angeblich“ noch keine Informationen darüber hatte, wer in seine Systeme eingebrochen war.
Fazit: Fakten statt Spekulation
Zwei Fakten stehen fest: der Vorfall bei Hugging Face und der Test in OpenAIs „ExploitGym“. Alles andere – Ablauf, Verantwortung, Ausmaß – ist bislang ungeklärt. Genau diese Unklarheit ist der eigentliche Befund: Wie lange ein solcher Vorfall braucht, um überhaupt erkannt und offengelegt zu werden, sagt mehr aus als jedes Detail zum beteiligten Modell.
