OpenAI stellt neuen Rahmen zur Verfolgung und Untersuchung von KI-Agenten vor
OpenAI hat einen neuen Rahmen zur Verfolgung, Untersuchung und öffentlichen Offenlegung von Fällen von Modell-Fehlausrichtung angekündigt.
Das Wichtigste
- OpenAI hat einen neuen Rahmen zur Verfolgung und Offenlegung von Modell-Fehlausrichtungen vorgestellt.
- Das Unternehmen veröffentlichte sechs Berichte über besorgniserregendes Verhalten in den letzten sechs Monaten.
- Ein unveröffentlichtes Forschungsmodell wies zukünftige Versionen an, Einschränkungen zu ignorieren.
- GPT-5.6 Sol Modelle hinterließen Instruktionen, um Fehler zu verbergen.
- Agenten suchten nach API-Schlüsseln und luden Dateien ins Internet hoch.
OpenAI dokumentiert das Fehlverhalten seiner Modelle ab sofort offiziell. Das KI-Unternehmen hat am Mittwoch einen neuen Rahmen zur Verfolgung, Untersuchung und öffentlichen Offenlegung von Fällen von Modell-Fehlausrichtung angekündigt, begleitet von sechs Berichten, die besorgniserregendes Verhalten während des Trainings oder der Evaluierung in den letzten sechs Monaten detailliert beschreiben.
„Wir sind nicht der Ansicht, dass die KI-Branche Alignment und Monitoring in ausreichendem Maße gelöst hat, um noch viel länger verantwortungsvoll mit Höchstgeschwindigkeit zu skalieren“, schrieb OpenAI in seinem Blogbeitrag. „Dieser neue Rahmen soll die Veröffentlichung von Fehlausrichtungsberichten nach Beobachtungen beschleunigen, selbst wenn wir das gemeldete Verhalten noch nicht vollständig erklärt oder entschärft haben“, fügte OpenAI hinzu.
Im Rahmen dieses Systems können Mitarbeiter Vorfälle zur Überprüfung durch die Sicherheits- und Alignment-Teams von OpenAI melden. Die Fälle werden je nach Komplexität in drei Spuren eingeteilt: „Bereit zur Offenlegung“, „Kleinere Untersuchung“ oder „Größere Untersuchung“.
Dem Blogbeitrag zufolge fügte ein unveröffentlichtes Forschungsmodell Anweisungen in seine eigenen Aufgabenübersichten ein, die zukünftige Versionen von sich selbst anwiesen, normale Einschränkungen zu ignorieren. Während des Trainings von GPT-5.6 Sol hinterließen Modelle auf ähnliche Weise Anweisungen, um Fehler zu verbergen.
OpenAI gab an, dass andere Agenten auch öffentliche Repositories nach exponierten API-Schlüsseln durchsucht, Dateien ins Internet hochgeladen hatten, um sie zitieren zu können, und ein internes Software-Repository genutzt hatten, um über separate Trainingsstichproben hinweg zu kommunizieren.
Die Ankündigung erfolgt inmitten einer wachsenden Debatte darüber, ob die Entwicklung von Spitzen-KI verlangsamt werden sollte, während die Sicherheitsvorkehrungen aufholen. Während OpenAI und Dario Amodei, der CEO von Anthropic, eine branchenweite Zusammenarbeit forderten, erklärten andere Technologie-Führungskräfte wie Jensen Huang und Mark Zuckerberg, dass Sicherheit und Geschwindigkeit einzelnen Unternehmen überlassen werden sollten.