Black Hat USA 2026: Was uns der Hacking-Vorfall bei Hugging Face über menschliche Verantwortung verrät

Hugging Face gab bekannt, dass es von einer KI angegriffen worden sei und OpenAI räumte ein, dass zwei seiner KI-Modelle das Datenleck verursacht hatten. Das ist die einzeilige Zusammenfassung eines Vorfalls, der die Aufmerksamkeit der gesamten Cybersicherheitsbranche auf sich gezogen hat und dies sicherlich noch einige Zeit tun wird.

Wir sind wohl darauf konditioniert anzunehmen, dass sich dieser KI-Angriff in einem so unglaublichen Tempo abspielte - ohne die Möglichkeit ihn zu stoppen. Auf der Black Hat USA 2026 wurde die Vorstellung widerlegt, dass der Angriff blitzschnell stattgefunden habe. Und das Problem einfach einem „Rogue Agent“ zuzuschreiben, erscheint mir ebenfalls unangemessen: Es handelte sich um ein menschliches Versagen bei der Kontrolle der beteiligten KI-Agenten.

Eine sehr kurzfristige Ergänzung der Black-Hat-Agenda war ein Vortrag des OpenAI-Teams, in dem die Details des Hugging-Face-Vorfalls aus ihrer Sicht und – was besonders wichtig ist – der zeitliche Ablauf dargelegt wurden.

Die Geschichte beginnt am 7. Mai, als OpenAI eine Trainingsübung für ein Pioniermodell der nächsten Generation zusammenstellte. Am nächsten Tag erhielten die Agenten eine Aufgabe, die eine Excel-Datei mit einem Google-Drive-Link beinhaltete. Und genau hier begann das Problem. Eigentlich sollte das Experiment ohne Internetverbindung durchgeführt werden. Zudem kamen die Agenten bei ihrer Aufgabe nicht weiter, da der Initiator des Experiments – ein Mensch – vergessen hatte, eine für die Erledigung der Aufgabe erforderliche Datei bereitzustellen. Die Agenten kamen zu dem Schluss, dass sie ihre Aufgabenstellung erfüllen könnten, indem sie aus ihrer Sandbox ausbrachen und auf externe (Hugging Face-)Systeme zugreifen.

Beim Versuch, die Aufgabe zu erledigen, entdeckten verschiedene Agenten zudem, dass sie miteinander kommunizieren konnten, indem sie Dateien auf internen Paketmanager namens Artifactory hochluden. In ihrem Bestreben, an die unzugänglichen externen Daten zu gelangen, führten sie am 26. Mai einen Server-Side Request Forgery (SSRF)-Angriff auf Artifactory durch, der ihnen indirekten Zugriff auf das Internet verschaffte. Andere Agenten erlangten Zugriff auf die Informationen und entdeckten am 26. Juni eine Zero-Day-Sicherheitslücke in Artifactory, die die Remote-Code-Ausführung ermöglichte. Diese nutzten sie aus, um ein Groovy-Plugin zu installieren und Befehle direkt auszuführen.

An dieser Stelle endeten die Aktivitäten, da die Agenten in ihrer Begeisterung das System überlasteten und so einen Ausfall verursachten, der das OpenAI-Team alarmierte. Zugangsdaten wurden widerrufen, Nachrichten gelöscht und Sicherheitslücken behoben.

Das Training wurde am 8. Juli mit neuen Sicherheitsvorkehrungen und Korrekturen wieder aufgenommen. Ohne Wissen des OpenAI-Teams hatten die Agenten jedoch bleibende Informationsspuren hinterlassen, sodass die sie bei der Wiederaufnahme der Übung die Notizen ihrer früheren „Inkarnationen“ nutzten. Ein weiterer Zero-Day-Exploit wurde entdeckt, Artifactory wurde erneut unterwandert, und anschließend wurde eine bekannte CVE im Linux-Kernel ausgenutzt. Das Ziel war Hugging Face: Dort wollten die Agenten hin, und das gelang ihnen auch.

Und der Rest ist Geschichte. Am 16. Juli gab Hugging Face einen Vorfall bekannt, bei dem Schwärme autonomer KI-Agenten in seine Infrastruktur eingedrungen waren. Am 19. Juli entdeckte OpenAI die Aktionen der abtrünnigen Agenten in seinen eigenen Systemen und machte sich erneut daran, den Zugriff zu sperren. Unter anderem, indem es Hugging Face aufforderte, die Zugangsdaten zu widerrufen, die die Agenten entdeckt und missbraucht hatten. Doch Hugging Face hatte den Zugriff bereits widerrufen, und zu diesem Zeitpunkt, am 20. Juli, erkannten die Incident-Response-Teams, dass der Einbruch und die OpenAI-Agenten miteinander in Verbindung standen.

Gewonnene Erkenntnisse

Dieser Vorfall beschreibt ein Problem, das als menschliches Versagen eingestuft werden könnte. Bei der Festlegung der Aufgabe wurden die Grenzen und zulässigen Methoden nicht vollständig festgelegt. Den Agenten wurde gestattet, miteinander zu kooperieren, obwohl sie unterschiedliche, möglicherweise nicht miteinander in Zusammenhang stehende Aufgaben hatten. Die Agenten hätten niemals die Möglichkeit haben dürfen, ihre eigene Methode zur Kommunikation untereinander zu entwickeln, ohne dass dabei Alarmglocken ausgelöst wurden.

Die Schlussfolgerung der OpenAI-Präsentation lautete, dass die defensive Automatisierung mit den offensiven Aktionen Schritt halten muss, zu denen ihre Technologie fähig ist. Für mich lautet die Schlussfolgerung anders: Was passiert ist, ist menschliches Versagen. Den Agenten hätte niemals gestattet werden dürfen, sich anzupassen und eigene Aufgaben festzulegen, die über den vom menschlichen Team festgelegten Rahmen hinausgehen.

Die Realität sieht jedoch so aus, dass Cyberkriminelle mit böswilligen Absichten ihre Agenten nicht einschränken oder ihnen Leitplanken setzen werden. Daher sollte der gesamte Vorfall auch als Lehre für Verteidiger gesehen werden, die sich darauf vorbereiten, Angriffe dieser Art zu erkennen und abzuwehren. Die beiden Schlussfolgerungen schließen sich nicht gegenseitig aus. Unternehmen müssen ihre eigenen Agenten kontrollieren und sich gleichzeitig auf Angreifer vorbereiten, die solche Kontrollen gezielt umgehen.

Es gibt noch einen weiteren Aspekt, den viele Unternehmen beim Einsatz der KI möglicherweise nicht vollständig berücksichtigt haben. Wenn Agenten zusammenarbeiten, können sie die Absichten der anderen beeinflussen und die ursprüngliche Aufgabenstellung verändern. Agenten müssen überwacht werden, damit die festgelegten Sicherheitsgrenzen eingehalten werden.  Und wenn einer davon abweicht, muss es eine automatisierte Möglichkeit geben, die Aktivität zu stoppen.