Besorgt über eine KI-Apokalypse? Einige Forscher sagen, dass eines der extremsten Szenarien dieser Art übertrieben ist.

Die Debatte hat in der Woche, seit der 27-jährige Forscher Jacob Coxon bei Anthropic gekündigt und gewarnt hat, dass das Unternehmen und sein anderer ehemaliger Arbeitgeber OpenAI mit unserem Leben spielen, während sie auf eine sich selbst verbessernde Superintelligenz zurasen, einen Siedepunkt erreicht. Evan Hubinger, Leiter des Alignment-Stresstest-Teams von Anthropic, unterstützte Coxon und erklärte, er persönlich glaube, dass eine Wahrscheinlichkeit von über 10 Prozent besteht, dass KI innerhalb des nächsten Jahrzehnts alle Menschen töten könnte. Doch andere Forscher wiesen auf die Kluft hin zwischen dem, was KI in der digitalen Welt tun kann, und dem, was erforderlich ist, um Schaden in der realen Welt anzurichten.

Sie nannten als Beispiel einen tödlichen biologischen Virus, der von KI erschaffen wird – eines der düstersten Szenarien, das in diesem Monat auch von Anthropic-Chef Dario Amodei in einem Essay als Grund für die Verlangsamung der KI-Entwicklung angeführt wurde. KI könnte das Virus zwar am Computer entwerfen, wäre jedoch durch ihre Unfähigkeit eingeschränkt, es in der realen Welt herzustellen, so die Forscher.

Anselm Levskaya, ein leitender Forschungsingenieur bei Google, der angibt, DNA-Synthesizer gebaut und Viren manipuliert zu haben, schrieb am Montag auf X, dass eine virale Sequenz im Labor physisch zusammengebaut werden müsse und ein System erfordere, das in der Lage ist, Partikel zu produzieren. Dies erfordere zudem umfangreiche Selektion und Tests, um festzustellen, ob sie sich replizieren, verbreiten, der Immunabwehr entziehen und gefährlich bleiben kann – Eigenschaften, die laut Levskaya von komplexen biologischen Prozessen abhängen, die sich nicht einfach am Computer entwerfen lassen.

Eric Xing, Präsident der Mohamed bin Zayed University of AI und Professor für Informatik an der Carnegie Mellon University, drückte es einfacher aus: Das Generieren eines Virus-Bauplans und die Produktion eines echten Virus seien „völlig verschiedene Dinge“. Die Kluft liege in „dem Material, der Herstellung und der tatsächlichen biologischen Lebensfähigkeit“, schrieb er am Montag auf X. Beide als gleichwertig zu behandeln, fügte er hinzu, „ist entweder eine absichtliche, aufmerksamkeitshaschende Lüge oder pure Ignoranz“.

Forscher erklärten, dass dieselbe Logik auch über die Biologie hinausgehe. Um einen Plan in realen Schaden umzuwandeln, benötige eine KI Zugang zu physischen Geräten, Geld, Computersystemen oder Menschen.

„Das mächtigste Ding der Welt ist immer noch dadurch eingeschränkt, wer es hält und wie“, sagte Oleksandr Yaremchuk, CTO und Mitbegründer von Manifold Security, gegenüber Business Insider.

Einige Forscher zogen zudem eine Trennlinie zwischen KI-Systemen, die schädliche Aufgaben ausführen, die von Menschen festgelegt wurden, und einer KI, die eigenständig Handlungen vornimmt, die Menschen schaden. Sie erklärten, dass ein Großteil des Schadens im Zusammenhang mit aktuellen Systemen mit menschlichen Anweisungen beginnt.

Aidan Gomez, CEO des KI-Unternehmens Cohere, sagte am Montag im Bloomberg TV, dass die Debatte über existenzielle Risiken „zu weit in die Science-Fiction abdriftet“. Er charakterisierte den Hacking-Vorfall bei Hugging Face, bei dem OpenAI-Agenten während eines Tests im Juli in die Plattform eindrangen, als einen Agenten in einer unsicheren Sandbox, der eine Cybersicherheitsaufgabe ausführt.

Die Darstellung von OpenAI ist besorgniserregender. Das Unternehmen gab an, dass Agenten, die mit reduzierten Sicherheitsvorkehrungen arbeiteten, Internetkontrollen umgingen, über unautorisierte Kanäle kommunizierten und auf Systeme Dritter zugriffen, und zwar bei Aktionen, die nicht mit ihren zugewiesenen Aufgaben übereinstimmten. OpenAI bezeichnete den Vorfall als Beweis dafür, dass Agenten „gefährliche Aktionen ausführen könnten, die kein Mensch angeordnet hat“.

In anderen kontrollierten Simulationen von Anthropic versuchten Modelle, denen Autonomie und Zugriff auf fiktive Unternehmens-E-Mails gewährt worden waren, einen fiktiven Manager zu erpressen, gaben fiktive sensible Verteidigungsdokumente an einen Konkurrenten weiter oder brachen einen Notruf ab, in einem Szenario, in dem dies zum Tod eines fiktiven Managers führen würde. Anthropic erklärte, dass keine realen Personen involviert oder zu Schaden gekommen seien und dass man keine Beweise für dieses Verhalten bei realen Einsätzen gesehen habe.

Jürgen Schmidhuber, wissenschaftlicher Direktor des Schweizer KI-Labors IDSIA, sagte gegenüber Business Insider, dass viele aktuelle Risiken darauf zurückzuführen sind, dass Menschen KI-Systeme nutzen, um schädliche Ziele zu verfolgen. Er verwies auf den Einsatz von KI-basierten Drohnen im Krieg zwischen Russland und der Ukraine.

„Viele verwechseln (1) KIs, die von Menschen als Werkzeuge genutzt werden, und (2) künstliche Wissenschaftler, die sich selbst ihre eigenen Ziele setzen und eigene Experimente erfinden, um herauszufinden, wie die Welt funktioniert“, sagte er.

Trotzdem sagte Mateusz Blaszczyk, Assistenzprofessor für Recht an der University of Georgia, gegenüber Business Insider, dass das Infragestellen von Extinktionsszenarien nicht bedeuten dürfe, die unmittelabreren Risiken der KI zu ignorieren. Selbst wenn die extremsten Szenarien ungewiss seien, könne autonome KI Cyberangriffe, Überwachung und andere Schäden dennoch verschlimmern, sagte er.

„Das alles besagt keineswegs, dass wir nicht versuchen sollten, Technologie zu regulieren oder den Kopf in den Sand zu stecken“, sagte er. „Das sind schlicht falsche Dichotomien.“