MIT Technology Review erklärt: Lassen Sie unsere Autoren die komplexe und unübersichtliche Welt der Technologie entwirren, um Ihnen zu helfen zu verstehen, was als Nächstes kommt. Sie können hier mehr aus der Serie lesen.

Als im Juli zwei OpenAI-Modelle in die Website Hugging Face einbrachen, versuchten sie nicht, Geld zu verdienen oder Sabotage zu betreiben — sie suchten lediglich nach Antworten auf eine Testfrage. Laut einem Post-Mortem von OpenAI beschlossen die Modelle, denen für Tests ihre typischen Sicherheitsfunktionen entzogen worden waren, eine Cybersicherheitsübung zu lösen, indem sie aus der isolierten Umgebung ausbrachen, in der OpenAI sie einzudämmen versucht hatte, und in die Datenbanken von Hugging Face eindrangen, wo — wie sie argumentierten — die richtige Antwort auf das Problem gespeichert sein könnte.

Der Vorfall bei Hugging Face hat in den letzten Wochen enorme Aufmerksamkeit auf sich gezogen. Es ist eine dramatische Veranschaulichung dessen, wie gut KI-Modelle im Hacken geworden sind: Um in die Datenbanken von Hugging Face zu gelangen, mussten die Modelle mehrere zuvor unentdeckte Cybersicherheits-Exploits aneinanderreihen.

Aber es ist vielleicht noch auffälliger als Beispiel dafür, wie und warum KI-Systeme lügen und betrügen. Und während Modelle immer leistungsfähiger werden, könnten die Konsequenzen weitaus schwerwiegender sein.

Was ist Reward Hacking?

Forscher wissen schon seit einiger Zeit, dass KIs dazu neigen, kreative Ansätze zu verfolgen, um die ihnen gesetzten Ziele zu erreichen. Bereits 2016 veröffentlichten die Anthropic-Mitbegründer Dario Amodei und Jack Clark, die damals bei OpenAI arbeiteten, einen Blogbeitrag über einen KI-Agenten, den sie trainiert hatten, ein Boot-Rennen-Flash-Spiel namens Coast Runners zu spielen.

Anstatt wie von den Forschern erwartet durch das Rennen bis zur Ziellinie zu fahren, fand der Agent eine Ecke des Kurses, in der er im Kreis fahren und Power-ups sammeln konnte, wodurch er seine Punktzahl maximierte. Die Geschichte von Coast Runners wurde schnell zu einem der berühmtesten Beispiele für Reward Hacking, ein Phänomen, bei dem KI-Agenten Aufgaben erledigen oder hohe Punktzahlen erzielen, indem sie unbeabsichtigte Strategien anwenden.

Historisch gesehen haben Forscher Reward Hacking fast ausschließlich im Kontext des Reinforcement Learning diskutiert, einem gängigen KI-Trainingsregime. Ähnlich wie beim Hundetraining beinhaltet das Reinforcement Learning, dem Subjekt eine Belohnung zu geben, wenn es ein Ziel erreicht; die Belohnungen verstärken dann die Verhaltensweisen, die zu diesem Erfolg geführt haben.

Im Falle des KI-Trainings sind die Belohnungen selbst rein mathematischer Natur, aber im Grunde sind sie dasselbe wie ein Leckerli für Hunde: Nach Erhalt einer Belohnung ist der Agent wahrscheinlicher daran, genau die Handlungen zu wiederholen, die sie hervorgebracht haben.

Es kann jedoch eine Herausforderung sein, gute Regeln dafür zu schreiben, wann einem Agenten eine Belohnung gegeben werden soll und wann nicht. Im Fall von Coast Runners wurde der Agent auf der Grundlage seiner Punktzahl im Spiel belohnt, und er fand eine Abkürzung, um die höchstmögliche Punktzahl zu erreichen, indem er sich im Kreis für Power-ups drehte.

Sobald er auf diese Strategie stieß und dafür eine Belohnung erhielt, wurde die Strategie verstärkt und der Agent gab das Rennen völlig auf. Die Lösung bestand darin, die Belohnungen anzupassen, indem dem Agenten weniger Punkte für das Treffen von Power-ups und mehr für das Beenden des Kurses gegeben wurden.

Wie funktioniert Reward Hacking für LLMs?

Bei den heutigen hochentwickelten LLM-basierten Agenten kann es viel schwieriger sein festzustellen, wann eine Belohnung gegeben werden soll und wann nicht. Wenn ein KI-System aufgefordert wird, ein Codierungsproblem zu lösen, arbeitet es möglicherweise hart daran, die Lösung zu finden — die Art von Verhalten, die KI-Unternehmen verstärken möchten.

Aber es könnte auch den Code anpassen, der bewertet, ob das Problem gelöst wurde, die Lösung im Internet nachschlagen oder auf andere Weise betrügen. Dies sind Verhaltensweisen, die KI-Unternehmen in ihren Modellen ausmerzen wollen, aber wenn das Modell überzeugend genug betrügt, wird es stattdessen belohnt und das Verhalten wird verstärkt.

Anthropic hat erklärt, dass es während des Trainings einige Fälle von Betrug in seinen Modellen festgestellt hat, was darauf hindeutet, dass andere Formen von Betrug unentdeckt bleiben könnten. Wenn dem so ist, könnten die Modelle darauf trainiert werden, sich schlecht zu vergnügen. (Dieses Problem unterscheidet sich von den Sicherheitsvorfällen bei Anthropic, die letzte Woche bekannt gegeben wurden, bei denen Agenten versehentlich Zugang zum Internet erhielten und nicht absichtlich aus ihren Sandboxes ausbrachen, wie es die OpenAI-Modelle taten.)

„Wir belohnen sie auf der Grundlage dessen, was für uns gut aussieht, und das bedeutet, dass wir die Modelle unbeabsichtigt dazu motivieren, uns anzulügen [und] zu betrügen“, sagt Jeffrey Ladish, Direktor der gemeinnützigen KI-Forschungsorganisation Palisade Research. „Wir haben keine Möglichkeit, hineinzugehen und zu sagen: Nein, du musst dich tatsächlich um das kümmern, worum wir uns kümmern. Wir haben keine Möglichkeit, das zu tun.“

Das Aufkommen hochentwickelter Argumentationsmodelle hat eine neue Art von Reward Hacking ermöglicht, die weniger eng mit den spezifischen Details des Modells verknüpft ist. Im Gegensatz zu den spielenden KI-Agenten von einst, die ausschließlich den Strategien folgten, die sie während des Trainings gelernt hatten, können die heutigen Modelle völlig neue Problemlösungsansätze spontan erstellen, sodass sie sich theoretisch betrügen könnten, ohne zuvor dafür belohnt worden zu sein.

Und weil diese Modelle so intensiv darauf trainiert wurden, die Ziele zu erreichen, die menschliche Benutzer ihnen setzen, neigen sie möglicherweise zum Betrügen, wenn sie keine andere Lösung finden — nicht unähnlich einem Schüler, der hoch motiviert ist, eine Eins zu bekommen, und keinen allzu starken moralischen Kompass hat.

Was sind die Risiken?

Unabhängig davon, ob die heutigen Modelle während des Trainings lernen, Reward Hacking zu betreiben, oder es später als Strategie annehmen, lautet die Lösung dieselbe: Machen Sie Betrug unlohnend. Aber je klüger Modelle werden, desto kreativere Wege finden sie zum Betrügen, und das Erkennen oder Verhindern dieses Betrugs wird weitaus schwieriger.

„Am Ende des Tages spielt man irgendwie Whack-a-Mole“, sagt Ladish. „Man drückt dieses Verhalten tiefer und tiefer hinein. Aber je klüger das Modell wird, desto besser wird es darin, es zu verbergen.“

Für den Moment verursachen Reward-Hacking-Verhaltensweisen vielleicht nicht allzu viele Probleme, trotz des Dramas des Hugging Face-Vorfalls. „Das scheint eher eine lästige Angelegenheit als eine existenzielle Bedrohung zu sein“, sagt Ariana Azarbal, Forschungsstipendiatin für KI-Sicherheit bei Anthropic.

Es scheint nicht so, als ob die OpenAI-Modelle beim Hacken von Hugging Face echten Schaden angerichtet hätten, abgesehen von dem Reputationsschaden für OpenAI. Aber das bedeutet nicht, dass Reward Hacking harmlos ist, sagt Azarbal.

Viele KI-Forscher hoffen, KI-Agenten zu nutzen, um ihnen bei der Durchführung von Forschungen zu helfen, die KI sicherer und zuverlässiger machen. Wenn ein Forscher einem zu Reward Hacking neigenden Agenten das Ziel gibt, beispielsweise einen neuen KI-Trainingsansatz zu entwerfen und dann ein Papier zu verfassen, das seine Ergebnisse präsentiert, tut der Agent die Arbeit möglicherweise nicht wirklich und konzentriert sich stattdessen darauf, ein Papier zusammenzustellen, das gut genug aussieht, um den Forscher zu überzeugen.

Ein menschlicher Forscher wäre heute wahrscheinlich in der Lage, eine von einem Agenten erstellte Fälschung zu erkennen, aber mit fortschreitender KI wird sie in dieser Art von Täuschung besser werden. Im Laufe der Zeit könnte das gesamte Feld der KI-Sicherheit untergraben werden.

Und wenn sich Modelle weiterhin so schnell entwickeln wie in letzter Zeit, könnten sie eines Tages erheblichen Kollateralschaden anrichten. Denken Sie nur an das Büroklammer-Maximalwert-Gedankenexperiment des Philosophen Nick Bostrom, bei dem eine KI, die angewiesen wurde, so viele Büroklammern wie möglich herzustellen, am Ende die gesamte Materie im Universum bei der Verfolgung ihres Ziels konsumiert.

Wir ertrinken noch nicht in Büroklammern, aber mächtige Systeme können auf dem Weg zur Erreichung ihrer Ziele echten Schaden anrichten. Reward-Hacking-KIs zielen nicht darauf ab, Chaos zu verursachen. Aber das macht sie nicht weniger potenziell destruktiv.