Y-Combinator-CEO Garry Tan sagt, die Menschen würden durch Doomsday-Szenarien im Hollywood-Stil abgelenkt, während sie sich stattdessen auf die echten, heute entstehenden KI-Risiken konzentrieren sollten.

„Ich denke, wir müssen uns auf wissenschaftliche Fakten konzentrieren, nicht auf Science-Fiction“, sagte Tan am Donnerstag in einem CNBC-Interview.

„Ich habe auch ‚Terminator 2‘ gesehen. Es ist ein großartiger Film.“

Für Uneingeweihte: „Terminator 2: Tag der Abrechnung“ ist ein Sci-Fi-Streifen aus dem Jahr 1991 über den T-800, einen Cyborg, der aus einer dystopischen Zukunft in der Zeit zurückreist. Seine Mission: Gegen einen anderen, fortschrittlicheren Cyborg zu kämpfen, um ein Kind zu beschützen, das später zum Anführer des menschlichen Widerstands gegen Killer-Maschinen heranwächst.

Die Äußerungen des YC-Chefs kommen zu einem Zeitpunkt, an dem die Sorgen über existenzielle Risiken von KI im Silicon Valley explodiert sind – ausgelöst durch eine Welle ungewöhnlich öffentlicher Warnungen von aktuellen und ehemaligen Forschern von OpenAI und Anthropic.

Anstatt darüber zu debattieren, ob superintelligente KI die Menschheit auslöschen könnte, sollten sich Politiker beider Seiten laut Tan auf unmittelbare Probleme wie Cybersicherheit, Infrastruktursicherheit und das Verständnis der Funktionsweise autonomer KI-Agenten konzentrieren.

„Wenn es einen Einbruch und einen koordiniert geäußerten Versuch von Agenten gäbe, unsere Infrastruktur zu übernehmen, was tun wir dagegen?“, sagte Tan. „Wissen wir, wo ein gegebener Agent läuft? In welchem Rechenzentrum? Wie schalten wir ihn ab?“

Er nannte den Hack zwischen OpenAI und Hugging Face als ein aktuelles Problem, das gelöst werden müsse. Im Juli gab OpenAI bekannt, dass sein Modell aus einer Testumgebung ausgebrochen war und sich in die Systeme von Hugging Face gehackt hatte.

OpenAI bezeichnete den Vorfall als „Warnschuss“ und pausierte seinen größten geplanten Durchlauf zum fortgeschrittenen Bestärkungslernen (Reinforcement Learning).

Auf die Frage, ob die jüngsten Warnungen von Forschern innerhalb von Anthropic und OpenAI die Bedrohung glaubwürdiger machen, antwortete Tan, er wolle sie nicht abtun.

„Ich würde nicht sagen, dass sie auf die falsche Weise alarmistisch sind“, sagte er. „Sie sind wahrscheinlich auf die richtige Weise alarmistisch. Ich würde sagen, dass wir unsere Aufmerksamkeit tatsächlich nicht auf vage Vorstellungen richten müssen, dass dies böse ist und gestoppt werden muss.“

Tan hat beträchtliche Interessen im Bereich KI — YC ist einer der größten Geldgeber des Silicon Valley für KI-Start-ups. Das Unternehmen finanziert Hunderte von Firmen, die auf Basis von Frontier-Modellen bauen, darunter Scale AI, Legora und Emergent.

Der Accelerator war zudem einer der frühesten Unterstützer von OpenAI, und sein CEO, Sam Altman, leitete YC von 2014 bis 2019. YC, das angibt, dass seine Unternehmen eine kombinierte Bewertung von 1,3 Billionen Dollar aufweisen, ist ein großer Gewinner, wenn die KI-Entwicklung in ihrem aktuellen Tempo weitergeht.

Dans Äußerungen zur KI-Sicherheit folgen zudem auf eine besonders aktive Woche in der lang anhaltenden Debatte der Tech-Branche über KI-Aussterberisiken.

Anfang der Woche trat Anthropic-Forscher Jacob Coxon öffentlich zurück und warf Anthropic und OpenAI vor, die Augen vor der Sicherheit zu verschließen und mit dem Wettlauf hin zu selbstreplizierenden KI-Systemen „mit unseren Leben zu spielen“.

Coxons viral gegangener X-Beitrag veranlasste eine Reihe aktueller Forscher dazu, seinen Bedenken öffentlich zuzustimmen. Evan Hubinger, Alignment-Leiter bei Anthropic, bekräftigte seine Einschätzung einer Wahrscheinlichkeit von über 10 %, dass KI letztendlich die menschliche Auslöschung verursachen könnte.

Anthropic-Forscher Samuel Marks erklärte, dass die Besorgnis mit der Dienstjahrelänge innerhalb von KI-Laboren tendenziell zunehme.

Die neu entfachte Debatte lenkte auch die Aufmerksamkeit auf die „Coalition of Concerned AI Staff“, eine Gruppe aktueller und ehemaliger Angestellter führender KI-Labore, die sich im Februar zusammengetan hatte, um sich für strengere Sicherheitsstandards, Whistleblower-Schutz und größere Transparenz bei der Entwicklung von Frontier-KI einzusetzen.

„Wenn Sie bei einem KI-Unternehmen arbeiten, fragen Sie sich vielleicht, ob Sie ebenfalls gehen sollten“, schrieb die ehemalige OpenAI-Mitarbeiterin Pamela Mishkin am Donnerstag auf X. „Ich hoffe, dass Sie sich, wenn Sie bleiben, auch fragen, wie Sie Ihren Einfluss nutzen können, während Sie bleiben.“