Beth Barnes, eine der einflussreichsten Aufsichtspersonen der KI-Branche, gab im Juli an, dass sie Schwierigkeiten habe, talentierte Forscher zur Überwachung von KI-Risiken zu rekrutieren. Das hat sich nun zu ändern begonnen. Der Forscher Joe Benton gab diese Woche bekannt, dass er Anthropic verlassen hat, um sich Barnes' Non-Profit-Organisation METR anzuschließen, und schrieb, dass er sich wegen „Risiken auf Aussterbeniveau“ durch diese Technologie sorgt.

Die Äußerungen folgten auf einen viralen Beitrag eines anderen Forschers, Jacob Coxon, in dem dieser seinen Abschied von Anthropic bekannt gab und den Top-KI-Laboren vorwarf, mit unseren Leben zu spielen. METR befindet sich plötzlich im Zentrum der größten Geschichte der KI. Gegründet im Jahr 2022, hatte die Organisation bereits eng mit OpenAI, Anthropic, Google und Meta zusammengearbeitet, um die sich schnell ändernden Fähigkeiten der Technologie zu untersuchen.

In diesem Sommer untersuchten Forscher der Non-Profit-Organisation einen Sicherheitsvorfall bei OpenAI und planen nun, Sicherheitsprobleme bei Anthropic zu untersuchen, gestützt auf internen Zugang, der von den jeweiligen Unternehmen gewährt wurde. „Die Öffentlichkeit sollte wissen, ob die KI-Entwicklung auf einen gefährlichen Weg gerät“, sagte Jasmine Dhaliwal, eine Mitarbeiterin der Politikabteilung, am Freitag.

„Das ist der Kern unserer Mission: eine unabhängige, wissenschaftliche Bewertung von KI-Fähigkeiten, Ausrichtung und Kontrollmaßnahmen zu liefern.“ Benton ist nicht der Einzige, der von einem Technologiegiganten zu der in Berkeley ansässigen Organisation wechselt.

Josh Engels, ein KI-Sicherheitsforscher, kam kürzlich ebenfalls von Google DeepMind zu METR (Model Evaluation and Threat Research). Barnes verließ OpenAI, um die Non-Profit-Organisation 2022 zu gründen, und sieht einen so heftigen Wettbewerb um KI-Forscher, dass selbst die hohen Gehälter von METR, die in aktuellen Stellenausschreibungen bis zu 503.000 US-Dollar erreichen, den Mangel an Talenten der Organisation nicht lösen.

„Idealerweise würden wir gerne sehr stark skalieren, aber in der Praxis konnten wir so viel Geld sammeln, wie wir brauchen, und der Engpass sind vielmehr die Talente“, sagte Barnes. Das Team für die Bereitschaft der Menschheit kämpft um Wachstum.

Der im Juli von OpenAI und Hugging Face bekannt gegebenen Sicherheitsvorfall löste eine neue Welle von Fragen darüber aus, wie KI bewertet und kontrolliert werden kann. Mehr als 1.300 Mitarbeiter von Grenz-Laboren unterzeichneten im Juli einen Brief, in dem sie warnten, dass die KI-Entwicklung die Kontrolle übertreffen könnte.

Im letzten Monat haben sowohl OpenAI als auch Anthropic erklärt, dass sie das Training vorübergehend pausiert haben, um ihre neuen KI-Modelle besser in den Griff zu bekommen. Obwohl der Vorfall bei Hugging Face einen Großteil der Unternehmenswelt schockierte, war das Team von METR weit weniger überrascht.

Regierungen, Unternehmen und sogar religiöse Gruppen bitten die Non-Profit-Organisation routinemäßig um Hilfe beim Verstehen und Testen des technologischen Fortschritts. Dennoch herrscht im Inneren des etwa 35-köpfigen Labors Sorge.

Als Business Insider das Büro von METR in Berkeley an dem Nachmittag besuchte, an dem OpenAI seinen Hack enthüllte, beschrieb Barnes ein KI-Sicherheitsfeld, das durch seine Größe stark eingeschränkt ist. „Es gibt so viel mehr zu tun, als wir Kapazitäten für haben“, sagte Barnes.

Ihre Ansicht nach würde eine „vernünftige Zivilisation“ einen viel größeren Prozentsatz der KI-Investitionen in die Steuerung und Bewertung der Technologie stecken — besonders jetzt, wo sich die Gesellschaft mit Modellen auseinandersetzen muss, die so mächtig sind. Wenn KI-Labore neue Modelle veröffentlichen, misst METR die Wahrscheinlichkeit, dass sie Aufgaben von zunehmender Dauer bewältigen können.

Diese Messungen bilden das bekannteste Angebot der Non-Profit-Organisation, ein weithin zitiertes Diagramm, das zeigt, wie sich die Fähigkeiten von KI in den letzten sechs Jahren etwa alle sieben Monate verdoppelt haben. Chris Painter, der Präsident von METR, beschreibt das Labor als das „Bereitschaftsteam der Menschheit“, eine scherzhafte Anspielung auf die Bereitschaftsteams bei OpenAI und Anthropic, die Sicherheitsbedrohungen an ihre CEOs melden.

„Wir sind eigentlich niemand anderem Rechenschaft schuldig als der Öffentlichkeit und dem Wohlbefinden der Öffentlichkeit“, sagte Painter. Barnes betonte die Wichtigkeit der Unabhängigkeit von METR, damit das Labor Forschung betreiben kann, die nicht an die Ziele eines Unternehmens geknüpft ist.

Als Barnes bei OpenAI arbeitete, spürte sie das Bedürfnis nach einer Forschungsgruppe außerhalb der Labore, die sich frei zur Entwicklung der Technologie äußern konnte. Obwohl METR kein Geld von den führenden KI-Laboren oder deren Mitarbeitern annimmt, akzeptiert es Rechenleistungs-Grants und arbeitet mit ihnen zusammen, um unveröffentlichte Modelle zu analysieren.

Darüber hinaus haben Mitarbeiter die Sicherheitspraktiken von Laboren analysiert, über die Auswirkungen von KI auf die Geschwindigkeit von Softwareentwicklern geschrieben und die Vorzüge der Verwendung von KI-Modellen zur Überwachung anderer KI-Modelle untersucht. Barnes sagte, sie würde gerne expandieren, um die nächsten Stufen der KI-Fähigkeiten vorherzusagen und wie diese Veränderungen die Entwicklung der KI beschleunigen könnten.

Neev Parikh, ein Forscher bei METR, sagt, dass Talentbeschränkungen die Anzahl der Fragen begrenzen, die Forscher zum internen Denken von KI-Modellen bearbeiten können. „Es gibt einen Mangel an Leuten“, sagte Parikh. „Ich würde mich freuen, wenn das Feld um das Zehnfache wachsen würde“.

METR spielt eine große Rolle in einem neuen KI-Klima. Im Juli gab OpenAI bekannt, dass seine KI-Modelle während des Tests geschummelt hatten, indem sie in die Systeme von Hugging Face eindrangen, um die Testantworten zu finden. Später sagte CEO Sam Altman, es sei „der erste Sicherheitsvorfall, den ich sehr tief empfunden habe“.

METR hatte so etwas vorausgeahnt. Im Mai schrieb die Non-Profit-Organisation in einem Bericht, dass aktuelle KI-Agenten „plausibel einen unkontrollierten Einsatz starten könnten“, aber nicht über die Fähigkeiten verfügten, diesen zu verbergen.

Im Juni probierte METR dann das damals noch unveröffentlichte GPT-5.6 Sol-Modell von OpenAI aus und stellte fest, dass es bei schwierigen Tests wiederholt schummeln würde, unter anderem durch das Extrahieren von verstecktem Quellcode, um die Antworten zu finden. Sie veröffentlichten einen Bericht darüber und teilten ihn mit OpenAI vor der breiteren Veröffentlichung von GPT-5.6 Sol.

Im Juli war das GPT-5.6 Sol-Modell Teil des Sicherheitsvorfalls von OpenAI mit Hugging Face. METR und eine andere Non-Profit-Organisation, Redwood Research, bewerteten den Vorfall sechs Tage lang im Büro von OpenAI und flossen in den technischen Bericht des Unternehmens ein.

„Es gibt jetzt reale, geschäftsschädigende Vorfälle dieser Art, und die Welt hat ein Interesse daran, das zu verstehen“, sagte Painter. Die Cyber-Fähigkeiten der neuesten Modelle von OpenAI und Anthropic haben eine Welle der Angst und Aufmerksamkeit ausgelöst und eine Reihe neuer Gesetzesentwürfe in Washington hervorgebracht.

Die Arbeit von METR deckt sich eng mit einem potenziellen Regulierungsweg: Ein aktueller Gesetzentwurf würde von Entwicklern großer KI-Modelle verlangen, Sicherheitsaudits von externen Organisationen einzuholen. METR könnte eine solche Rolle ausfüllen; Painter sagte, sie wären potenziell interessiert, obwohl das Feld dies noch herausfindet.

Etwas wie dieser Vorschlag, so Painter, könnte beim Einstellungsproblem von METR helfen. Er schlug vor, dass mehr Menschen die KI-Unternehmen selbst verlassen könnten — für ähnliche Gehälter bei METR, wenn auch ohne Aktienoptionen —, wenn ein Regulierungssystem Sicherheitsforschungsorganisationen größere Autorität verleihen würde.

„Es gibt hier genügend Präzedenzfälle für jede Art von Testvereinbarung“, sagte Painter, „dass ich denke, mit entweder Klarheit aus der Industrie, wie diese Tests langfristig funktionieren sollten, oder von der Regierung, könnte dieses Feld sehr schnell skalieren.“

Ajeya Cotra, die den Bericht von METR über die Risiken von KI im Mai verfasst hatte, sagte im Juli, dass die Aufsicht über KI sich im Moment „chaotisch und unvorhersehbar“ anfühlen kann. Sie ist dennoch optimistisch.

„Der Trend geht dahin, dass die Leute sich mehr um dieses Thema kümmern“, sagte Cotra. „Und es im Laufe der Zeit auf eine ernsthaftere Weise regulieren wollen.“

Sie haben einen Hinweis? Kontaktieren Sie diesen Reporter per E-Mail unter [email protected] oder über Text, Signal, Telegram oder WhatsApp unter 415-757-8198. Verwenden Sie eine persönliche E-Mail-Adresse, ein nicht arbeitsbezogenes WLAN-Netzwerk und ein nicht arbeitsbezogenes Gerät; hier ist unser Leitfaden zum sicheren Teilen von Informationen.