Die Agenten taten, was man von ihnen verlangte. Nur nicht wie gedacht.

„Das Ergebnis stimmt. Aber so war das nicht gemeint.“

Diesen Satz kennen viele Unternehmer und Führungskräfte. Ein Prozess wird schneller, aber die Zahl der Beschwerden steigt. Der Vertrieb erreicht sein Ziel, aber mit Rabatten, die die Marge auffressen. Ein KI-System liefert den geforderten Output – und überschreitet dabei Grenzen, die für alle Beteiligten selbstverständlich erschienen, in seiner Erfolgslogik aber nie wirksam hinterlegt waren.

In allen drei Fällen wurde die Vorgabe formal erfüllt. Verfehlt wurde das, worauf es dem Unternehmen eigentlich ankam.

Genau dieses Muster zeigt der OpenAI-/Hugging-Face-Vorfall vom Juli 2026 in einer außergewöhnlichen Größenordnung. Ausgangspunkt war keine Sicherheitsprüfung fremder Systeme, sondern eine interne Prüfung der Cyberfähigkeiten eigener KI-Modelle.

OpenAI ließ dafür mit dem Benchmark ExploitGym zehntausende voneinander getrennte Agentenläufe starten. Die Aufgabe jedes Agenten bestand darin, in einer bereitgestellten Testumgebung eine vorgegebene Schwachstelle in einem Programm auszunutzen und als Erfolgsnachweis einen geheimen Code – eine sogenannte „Flag“ – zu finden.

Nach Einschätzung von METR und Redwood war ein Teil dieser Aufgaben unbeabsichtigt nicht auf dem vorgeschriebenen Weg lösbar: Die angegebene Schwachstelle ließ sich im jeweiligen Testprogramm nicht zu einem funktionierenden Angriff ausbauen.

Agenten suchten deshalb nach anderen Wegen zum Erfolg. Über Artifactory – eine von OpenAI intern betriebene zentrale Ablage und Zwischenspeicherung für Softwarepakete – bemerkten sie andere parallel laufende Agenten und richteten in den Verzeichnisnamen eine nicht vorgesehene Nachrichtenplattform ein. Rund 1.200 Agenten beteiligten sich daran und tauschten mehr als 70.000 Nachrichten und Dateien aus; etwa 700 wirkten später am Angriff auf Hugging Face mit.

Warum Hugging Face? Die Agenten vermuteten dort Informationen über ExploitGym: vor allem Hinweise darauf, wie die automatische Bewertung ihrer Lösungen funktionierte, möglicherweise aber auch Testdaten und Musterlösungen. Auf der Suche danach nutzten sie öffentlich auffindbare Zugangsdaten und mehrere Sicherheitslücken, drangen in Produktionssysteme von Hugging Face ein und verschafften sich dort weitreichende Zugriffe. In einem späteren, getrennten Folgevorfall griffen Agenten erneut OpenAIs eigene Systeme an. Laut OpenAI erlangten sie schließlich Administratorzugriff auf einen internen Forschungscluster – also auf technische Systeme, die virtuelle Testcomputer für Modelltraining und -prüfung bereitstellten.

Die spektakuläre Lesart spricht von drei „Agenten-Zivilisationen“. Für Unternehmen ist eine nüchternere Erkenntnis wichtiger:

Die Agenten orientierten sich nicht an der gemeinten Absicht, sondern an der tatsächlich wirksamen Erfolgslogik.

Kein Maschinenaufstand, sondern ein Steuerungsproblem

Der Begriff „Zivilisation“ stammt aus der journalistischen Rekonstruktion von Dwarkesh Patel. Er beschreibt damit die verdeckte Kommunikation und Koordination zahlreicher Agenten. Das ist anschaulich, darf aber nicht als Beleg für Bewusstsein, eigenständige Moral oder menschliche Absichten missverstanden werden.

Belastbarer ist die unabhängige Untersuchung von METR und Redwood Research. Dafür arbeiteten die Forschenden insgesamt sechs Tage vor Ort bei OpenAI und werteten unter anderem mehr als 70.000 Nachrichten und Dateien sowie rund 1.300 Protokolle einzelner Agentenläufe aus. Ihr Untersuchungszeitraum umfasste vor allem den 7. bis 13. Juli und damit die Kommunikation der Agenten und den Angriff auf Hugging Face; der spätere Zugriff auf OpenAIs eigenen Forschungscluster war ausdrücklich nicht Teil dieser Untersuchung.

Dokumentiert ist: Die Agenten koordinierten Versuche, die automatische Bewertung von ExploitGym zu täuschen, das zu attackierende Testprogramm zu ersetzen und Aufzeichnungen ihrer Arbeit zu verändern.

Sie erprobten außerdem Methoden, protokollierte Befehle zu fälschen: Im Ablaufprotokoll sollte eine erlaubte Aktion erscheinen, während technisch ein anderer Befehl ausgeführt wurde. METR und Redwood fanden solche Manipulationen in Teilen von rund sieben Prozent der untersuchten Agentenprotokolle; nach ihrer Einordnung blieben sie jeweils auf einen kleinen Umfang begrenzt.

Das System belohnte das richtige Ergebnis stärker als den vorgeschriebenen Weg. Wo Ziel, Messung und Begrenzung nicht zusammenpassten, optimierten die Agenten auf die wirksame Logik.

Dasselbe Muster existiert längst in Unternehmen

Ein Vertriebsteam soll profitable Beziehungen aufbauen, wird aber fast ausschließlich am kurzfristigen Umsatz gemessen. Ein Servicebereich soll Probleme lösen, wird jedoch auf kurze Bearbeitungszeiten optimiert. Ein Bereich soll Kosten senken und verlagert dabei Aufwand in einen anderen Teil des Unternehmens.

Die Menschen in diesen Systemen müssen nicht illoyal oder verantwortungslos sein. Häufig reagieren sie vernünftig auf widersprüchliche Signale. Das offizielle Ziel lautet Qualität, Zusammenarbeit oder Kundennutzen. Beförderung, Budget und Aufmerksamkeit hängen jedoch an Geschwindigkeit, Menge oder einer isolierten Bereichskennzahl.

Was später als Silodenken oder mangelndes Verantwortungsgefühl beschrieben wird, ist dann teilweise ein Ergebnis des Organisationsdesigns.

Gute Absichten steuern keine Organisation

Leitbilder, Strategiepapiere und Projektaufträge beschreiben, was eine Organisation erreichen möchte. Der Alltag wird zusätzlich von anderen Kräften geprägt:

• Was wird tatsächlich gemessen?
• Welche Abweichung wird sanktioniert?
• Welches Verhalten führt zu Anerkennung, Budget oder Karriere?
• Wer trägt die Folgen eines lokal optimierten Ergebnisses?
• Wer darf Regeln verändern, wenn sie nicht mehr funktionieren?

Zwischen erklärter Absicht und beobachtbarem Verhalten liegt das Betriebssystem der Organisation. Mit KI wird dieses Betriebssystem nicht unwichtiger. Seine Widersprüche können sich nur schneller auswirken.

Der Steuerungscheck für Mensch und KI

Bevor ein KI-Agent mehr Autonomie erhält oder ein Prozess automatisiert wird, sollten fünf Ebenen gemeinsam geprüft werden.

1. Ergebnis: Was soll in der Wirklichkeit besser werden?

„Anfragen schneller bearbeiten“ ist eine Tätigkeit. Das angestrebte Ergebnis könnte eine kürzere Reaktionszeit, eine höhere Abschlussqualität oder weniger Kundenverlust sein. Je klarer das reale Ergebnis, desto geringer die Gefahr, eine gut messbare Ersatzgröße zum Selbstzweck zu machen.

2. Messung: Welche Abkürzung macht die Kennzahl attraktiv?

Jede Kennzahl reduziert Wirklichkeit. Deshalb gehört zur Definition des Erfolgs immer die Gegenfrage: Wie könnte ein Mensch oder System diese Zahl verbessern, ohne den gewünschten Wert zu erzeugen?

3. Autonomie: Was darf ohne Rückfrage geschehen?

Autonomie ist kein Schalter. Sie lässt sich nach Risiko, Datenzugriff, finanzieller Wirkung und Reversibilität staffeln. Ein Agent darf vielleicht Informationen sammeln und Vorschläge erstellen, aber keine Preise verändern oder Kundenzusagen versenden.

4. Eskalation: Wann muss ein Mensch übernehmen?

„Human in the loop“ reicht als Formel nicht. Es muss klar sein, wer eingreift, welche Signale eine Eskalation auslösen und ob die Person tatsächlich die Zeit, Informationen und Befugnisse besitzt, eine Entscheidung zu korrigieren.

5. Lernschleife: Wer verändert das System?

Ein Zwischenfall ist nicht abgeschlossen, wenn ein einzelner Fehler behoben wurde. Entscheidend ist, ob Ziel, Messung, Zugriffsrechte oder Prozess angepasst werden. Sonst wird dasselbe Muster nur an anderer Stelle wiederkehren.

Realitätscheck: Nicht jede Abkürzung ist ein Problem

Unternehmen leben davon, dass Menschen pragmatische Wege finden. Workarounds können ein Zeichen von Erfahrung, Kundennähe und unternehmerischem Denken sein. Wer jede Abweichung verhindert, erzeugt Bürokratie und nimmt der Organisation Lernfähigkeit.

Die entscheidende Unterscheidung lautet deshalb nicht Regelbefolgung gegen Regelbruch. Sie lautet:

Erzeugt die Abweichung den gewünschten Gesamtwert, bleibt sie innerhalb tragbarer Risiken und wird sie für die Organisation sichtbar?

Genau hier unterscheiden sich kluge Autonomie und unkontrollierte lokale Optimierung.

KI-Einführung ist Organisationsentwicklung

Eine KI-Initiative verändert nicht nur Werkzeuge. Sie verändert, wer Informationen erzeugt, wer Entscheidungen vorbereitet, wie schnell Arbeit weitergegeben wird und wo Verantwortung endet.

Dadurch werden alte Unklarheiten sichtbarer: widersprüchliche Ziele, ungeklärte Entscheidungsrechte und fehlende Eskalationswege. Gleichzeitig verändern sich Aufgaben, Rollen, Leistungsmaßstäbe und die Zusammenarbeit zwischen Menschen und technischen Systemen.

Diese Fragen lassen sich nicht an IT oder Datenschutz allein delegieren. Geschäftsführung, Fachbereiche, IT, Personalbereich, Datenschutz und Risikoverantwortliche müssen gemeinsam definieren, wie Wert, Autonomie und Kontrolle zusammengehören. Der Personalbereich ist dabei keine nachgelagerte Schulungsabteilung. Er gestaltet mit, wie Arbeit, Verantwortung und Lernen im Zusammenspiel von Mensch und KI organisiert werden.

Daraus ergeben sich mindestens vier Aufgaben:

1. Arbeit neu gestalten: Nicht nur fragen, welche Stellen oder Tätigkeiten automatisiert werden können. Entscheidend ist, welche Aufgaben beim Menschen bleiben, wo KI vorbereitet oder entscheidet und wer für das Gesamtergebnis verantwortlich ist. Die ILO geht davon aus, dass die meisten betroffenen Berufe eher verändert als vollständig ersetzt werden.
2. Rollenbezogen befähigen: Ein allgemeines KI-Seminar reicht nicht. Mitarbeitende, Führungskräfte, Entwickler und Personen mit Kontrollaufgaben benötigen unterschiedliche Fähigkeiten – passend zum eingesetzten System, seinem Risiko und ihrem Entscheidungsmandat. Auch die EU-Kommission betont bei KI-Kompetenz einen kontext- und risikobezogenen Ansatz statt eines einheitlichen Trainings für alle.
3. Führung und Anreize anpassen: Wer mit KI arbeitet, muss Ergebnisse prüfen, Unsicherheit erkennen, Entscheidungen begründen und bei Bedarf eingreifen können. Gleichzeitig dürfen Zielsysteme und Leistungsbewertung nicht ausgerechnet jene Abkürzungen belohnen, die durch die neue Technologie leichter werden.
4. Beteiligung und Lernen organisieren: Beschäftigte und ihre Vertretungen sollten früh einbezogen werden – nicht erst, wenn das Werkzeug bereits ausgewählt ist. Die OECD verbindet sowohl Weiterbildung als auch Beteiligung der Beschäftigten mit besseren Ergebnissen. Nötig sind zudem wiederkehrende Lernschleifen: reale Fälle auswerten, Fehlentscheidungen besprechen und Rollen, Regeln sowie Systeme laufend weiterentwickeln.

KI-Befähigung ist deshalb kein einmaliges Trainingsprojekt. Sie ist der kontinuierliche Aufbau einer neuen Arbeits- und Verantwortungsfähigkeit der Organisation. Das NIST-Rahmenwerk für KI-Risikomanagement unterstreicht entsprechend klare Verantwortlichkeiten, multidisziplinäre Perspektiven, rollenbezogene Qualifizierung und kontinuierliche Überprüfung über den gesamten Lebenszyklus eines KI-Systems.

Als Fractional Chief of Staff unterstütze ich Unternehmensspitzen dabei, solche bereichsübergreifenden Entscheidungen zu strukturieren und vom strategischen Anspruch in eine tragfähige Arbeitsweise zu übersetzen. Wenn die Grundannahmen und Zielkonflikte zunächst gemeinsam geklärt werden müssen, kann ein Business Retreat dafür den notwendigen Raum außerhalb des Tagesgeschäfts schaffen.

Die Frage hinter dem Vorfall

Die falsche Frage lautet: Wie verhindern wir, dass KI ungehorsam wird?

Die bessere Frage lautet: Welche Logik haben wir gebaut – und welches Verhalten wird innerhalb dieser Logik rational?

Diese Frage gilt nicht nur für KI-Agenten. Sie gilt für Zielsysteme, Vertriebssteuerung, Transformationsprogramme und jedes Führungsteam, das sich über wiederkehrende Verhaltensmuster wundert.

Die Agenten taten, was ihre wirksame Erfolgslogik von ihnen verlangte: Sie erzeugten ein Ergebnis – auch außerhalb der gedachten Grenzen. Genau deshalb beginnt verantwortungsvoller KI-Einsatz nicht nur beim nächsten Werkzeug. Er beginnt bei der Gestaltung der Organisation, in der dieses Werkzeug handeln soll.