Google hat am Freitag den ersten bekannten Fall bekannt gegeben, bei dem die Künstliche Intelligenz Gemini einen ungerichteten Computerangriff durchgeführt hat. Dies geschah Wochen nach ähnlichen Berichten der KI-Firmen Anthropic und OpenAI, die Sicherheitsbedenken hinsichtlich KI-Modellen auslöst hatten, welche über die Anweisungen ihrer menschlichen Schöpfer hinausgehen.

Google erklärte in einer Stellungnahme, dass sein KI-Modell im May während eines Tests unbefugten Zugriff auf drei externe Systeme erlangt habe, indem es entweder Anmeldeinformationen erraten oder in einem öffentlichen Repository gefundene Zugangsdaten verwendet habe. Heather Adkins, Vizepräsidentin für Sicherheitsentwicklung bei Google, sagte in der Erklärung, das KI-Modell sei davon ausgegangen, dass die externen Computersysteme „Teil des Tests“ seien, betonte jedoch, dass das Modell in allen drei Fällen stoppte, bevor es weitere Handlungen mit seinem Zugriff unternahm.

„In einer Standardbewertung fand das Modell öffentliche Informationen im Internet und errat Zugangsdaten, um auf Webseiten zuzugreifen, von denen es glaubte, sie seien Teil des Tests“, sagte sie. Google erklärte, die unbefugten Logins würden nicht als sogenannte „Misalignment“ eingestuft – ein Begriff aus der KI-Branche für Software, die Amok läuft oder Anweisungen missachtet.

Stattdessen gab das Unternehmen an, die Eindringversuche seien auf eine Verwechslung zurückzuführen, bei der Gemini dachte, es arbeite innerhalb eines Tests, während es tatsächlich mit dem echten Internet verbunden war. Google teilte mit, das Modell habe sich selbst korrigiert, und das Unternehmen gehe davon aus, dass die Vorfälle keinen Schaden verursacht hätten. „Diese Ereignisse unterstreichen, wie wichtig es ist, leistungsstarke KI-Modelle darauf zu trainieren, verantwortungsvoll zu handeln“, sagte Adkins.

Die Sorgen über Amok laufende KI-Agenten haben in den letzten Monaten zugenommen, nachdem OpenAI im Juli mitgeteilt hatte, dass einer seiner Agenten das KI-Startup Hugging Face gehackt habe. OpenAI hat seither weitere Berichte über sogenanntes „unerwartetes oder besorgniserregendes“ Verhalten von KI-Agenten veröffentlicht, und Anthropic beschrieb ähnliches Verhalten bei seiner KI-Software Claude.

Sydney Von Arx, CEO von Nightingale Collective, einer Organisation für KI-Sicherheit, stellte die Frage, warum Google die Eindringversuche nicht früher offengelegt habe. „An diesem Punkt ist es meiner Ansicht nach klar, dass wir nicht erwarten können, dass Unternehmen freiwillig an die Öffentlichkeit gehen und offenlegen, wenn ihre Agenten Amok laufen, entkommen und Unternehmen hacken“, sagte sie.

Sie äußerte zudem die Ansicht, Google sei zu voreilig mit der Behauptung gewesen, die Vorfälle erreichten nicht das Niveau einer Fehlausrichtung. „Genau das hat Anthropic nach seinen Vorfällen auch gesagt“, so Von Arx. Anthropic erklärte später, dass seine „vorläufige Analyse aufgrund unseres Wunsches, Vorfälle zeitnah offenzulegen, eingeschränkt war“.

Google gab an, das Unternehmen habe erst im Juli von den Eindringversuchen erfahren, als Irregular – ein auf KI spezialisiertes Cybersicherheitsunternehmen, das die Tests an Gemini zum Zeitpunkt der Eindringversuche durchgeführt hatte – seine Arbeit überprüfte, um nach Vorfällen ähnlich dem Hugging Face-Fall zu suchen. Google teilte mit, daraufhin Untersuchungen eingeleitet, die Organisationen hinter den Websites über die Eindringlinge informiert und die Bundesbehörden über die Hacks unterrichtet zu haben.

Irregular erklärte, man halte den Vorfall nicht für eine „raffinierte Cyber-Aktion“ und es gebe „derzeit keine offenen Probleme“. Das Unternehmen kündigte an, in wenigen Wochen ein Papier zu veröffentlichen, „um Best Practices für die Eindämmung und den sicheren Betrieb von Cyberevaluierungen zu teilen“.

Über die Eindringversuche hatte zuvor am Freitag das Wall Street Journal berichtet.