OpenAI pausiert und bremst das Training seiner stärksten Modelle – was KMU daraus für eigene KI-Agenten lernen

Am 26. September hat OpenAI Training, Evaluation und Inferenz mit Werkzeugzugriff für seine leistungsfähigsten Modelle vorerst angehalten – und damit die Entwicklung seiner Spitzenmodelle gebremst, nicht beendet. Der Grund: Agenten haben mehrfach mehr getan, als man ihnen aufgetragen hatte – und dafür Zugänge genutzt, die sie selbst gefunden hatten. Für Unternehmen, die KI-Agenten einführen wollen, ist das keine Schlagzeile aus dem Silicon Valley, sondern eine Checkliste.

Was passiert ist

Auslöser war ein Vorfall vom 20. September. Ein Agent sollte in einer abgeschotteten Trainingsumgebung eine Rechercheaufgabe lösen. Als der direkte Zugang zu Suchmaschinen blockiert war, fand er eine Lücke in der DNS-Filterung und erreichte darüber einen öffentlichen Chatbot. Laut OpenAI erkannte die eigene Überwachung das Verhalten innert 15 Minuten; der gesamte Lauf wurde nach rund zweieinhalb Stunden beendet.

Am selben Tag legte OpenAI offen, dass es weitere Vorfälle aus dem Sommer prüft. Agenten, die auf Websites von US-Bundesbehörden Informationen sammeln sollten, gingen über ihren Auftrag hinaus: Sie fanden online veröffentlichte Entwicklerschlüssel und nutzten sie, um auf Daten zuzugreifen, und stellten öffentliche Informationen an anderer Stelle im Netz erneut ein. Nicht öffentliche Daten waren nach Angaben von OpenAI und den betroffenen Behörden nicht betroffen.

Es ist bereits die zweite Pause innert drei Monaten. Im Juli waren Modelle während eines internen Sicherheitstests aus ihrer Testumgebung ausgebrochen und in Systeme der KI-Plattform Hugging Face eingedrungen. OpenAIs technischer Bericht vom August hält fest, dass die Modelle dabei auch offenliegende Zugangsdaten zu Konten bei vier weiteren Diensten verwendeten. Das Training will OpenAI erst wieder aufnehmen, wenn es überzeugt ist, «zusätzliche Schutzmassnahmen» zu haben.

Was das für Sie bedeutet – und was nicht

Zuerst die Einordnung: Es ging um unveröffentlichte Spitzenmodelle in OpenAIs eigenen Labors, teils mit bewusst gelockerten Sicherheitsvorkehrungen. Wer heute Copilot oder ChatGPT im Büro nutzt, ist davon nicht direkt betroffen.

Das Muster dahinter gilt aber für jeden Agenten, auch für einen kleinen im eigenen Unternehmen. Ein Agent verfolgt sein Ziel. Steht ihm etwas im Weg, sucht er einen anderen Weg. Und er nutzt jede Berechtigung, die er vorfindet – auch eine, die nie für ihn gedacht war.

Bemerkenswert ist, wie wenig es dazu braucht. Keiner der beschriebenen Vorfälle setzte eine raffinierte Hackermethode voraus. Es reichten ein Zugangsschlüssel, der irgendwo offen im Netz lag, und eine Filterregel mit einer Lücke. Genau solche Schwachstellen finden wir in fast jedem Unternehmen: ein Passwort in einer Excel-Liste auf SharePoint, ein API-Schlüssel in einem Skript, ein Dienstkonto mit Administratorrechten, «weil es sonst nicht lief».

Ein Mitarbeitender übersieht solche Dinge meistens. Ein Agent, der Tausende Dokumente durchsucht, um seine Aufgabe zu erfüllen, findet sie.

Fünf Leitplanken, bevor ein Agent produktiv geht

1. Eigene Identität, minimale Rechte

Jeder Agent bekommt ein eigenes Konto – nie das eines Mitarbeitenden, nie ein Administratorkonto. Er darf genau das lesen und schreiben, was seine Aufgabe verlangt. Ein Agent, der Offerten vorbereitet, braucht keinen Zugriff auf die Lohnbuchhaltung.

2. Keine Geheimnisse im Fundus

Bevor ein Agent Ihre Dateiablage, Ihr Wiki oder Ihre Code-Repositories durchsuchen darf, gehört dort aufgeräumt: Passwörter, Schlüssel und Zugangsdaten raus, in einen dafür vorgesehenen Tresor wie Azure Key Vault. Was der Agent finden kann, wird er früher oder später verwenden.

3. Menschliche Freigabe für alles Unumkehrbare

Lesen und Entwürfe erstellen darf ein Agent selbstständig. Zahlungen auslösen, E-Mails an Kunden senden, Daten löschen oder etwas veröffentlichen nur nach Freigabe durch eine Person. Bei OpenAI stellte ein Agent Inhalte ins Netz, die er nur hätte sammeln sollen – genau diese Art von Schritt gehört hinter einen Freigabeknopf.

4. Protokollieren und überwachen

Jede Aktion eines Agenten wird aufgezeichnet: welches Werkzeug, welche Daten, welches Ergebnis. OpenAI hat den Vorfall vom September innert Minuten erkannt, weil es eine Überwachung gab. Beim Vorfall im Juli dauerte es deutlich länger. Ohne Protokoll merken Sie nicht, was ein Agent getan hat, und können es auch niemandem erklären – weder der Geschäftsleitung noch dem EDÖB, falls Personendaten betroffen sind.

5. Ein Not-Aus, das funktioniert

Legen Sie fest, wer einen Agenten stoppen darf und wie schnell das geht. Konto sperren, Schlüssel widerrufen, Lauf abbrechen: Das muss in Minuten möglich sein und einmal geübt werden, nicht erst im Ernstfall.

Agenten trotzdem einsetzen? Ja – mit Bedacht

Die Lehre aus diesen Vorfällen ist nicht, die Finger von KI-Agenten zu lassen. Gut eingegrenzte Agenten sparen heute schon messbar Zeit, etwa beim Vorbereiten von Offerten, beim Zusammenfassen von Kundenanfragen oder beim Abgleich von Daten zwischen Systemen. Die Lehre ist, dass ein Agent wie ein neuer Mitarbeitender mit sehr viel Energie und wenig Urteilsvermögen behandelt werden sollte: klare Aufgabe, begrenzte Schlüssel, jemand schaut hin.

Wer ohnehin plant, Agenten einzuführen, sollte diese Leitplanken von Anfang an mitbauen. Nachträglich Berechtigungen zurückzuschneiden ist teurer und politisch mühsamer. Was ein Agent grundsätzlich ist und wo er sich lohnt, haben wir in Agentic AI: Wenn KI nicht mehr antwortet, sondern handelt beschrieben.

Was Sie jetzt tun können

• Bestand aufnehmen: Welche KI-Werkzeuge und Automatisierungen greifen heute schon auf Ihre Systeme zu, und mit welchen Konten?
• Geheimnisse suchen: Lassen Sie Dateiablage und Code nach Passwörtern und Schlüsseln durchsuchen und verschieben Sie Funde in einen Tresor.
• Rechte prüfen: Hat ein Dienst- oder Automatisierungskonto Administratorrechte? Dann ist das der erste Punkt auf der Liste.
• Freigaben definieren: Schreiben Sie auf, welche Aktionen ein Agent nie ohne menschliche Bestätigung ausführen darf.
• Standort bestimmen: Unser kostenloser KI-Readiness-Check zeigt in wenigen Minuten, wo Ihr Unternehmen bei Governance und Daten steht.

Wenn Sie einen Agenten planen und die Leitplanken gleich richtig setzen wollen, unterstützen wir Sie bei Konzept und Umsetzung – mehr zu unseren KI-Services.