OpenAI zeigt, warum einer seiner ehemaligen Forscher denkt, dass KI alle töten könnte

OpenAI sagt, dass sein neuestes KI-System ein 90 Jahre altes Mathematikproblem in 88 Stunden gelöst hat, was Ängste vor unkontrollierbarer Intelligenz neu entfacht.

Am 8. September erklärte das Unternehmen, dass ein internes Modell, das erheblich leistungsfähiger ist als das kürzlich veröffentlichte GPT-6 Astra, etwa 10.000 KI-Agenten koordinierte, um das Existenz- und Glattheitsproblem der Navier-Stokes-Gleichungen zu lösen. Dies ist eines der sieben Millenniumspreisprobleme der Mathematik.

Die Agenten tauschten 2,7 Millionen Nachrichten aus und generierten etwa 130 Milliarden Ausgabetokens, bevor Astra weitere 17 Stunden damit verbrachte, das Ergebnis in Lean zu formalisieren und zu verifizieren. OpenAI sagte, das System habe bewiesen, dass sich anfänglich glatte Flüssigkeitsbewegungen in endlicher Zeit zu einer Singularität entwickeln können, was eine Frage beantwortet, die seit den 1930er Jahren offen ist.

Das Problem ist mit einem Preis von 1 Million Dollar vom Clay Mathematics Institute dotiert. OpenAI erklärte, dass es nicht beabsichtige, den Preis zu beanspruchen, während der Beweis noch breiterer Überprüfung standhalten müsse, bevor seine Lösung allgemein akzeptiert wird.

Die frühe Reaktion aus der Mathematikgemeinschaft war dennoch bemerkenswert. Die American Mathematical Society beschrieb die Entwicklung als einen "Meilenstein in der menschlichen Erkenntnis" und würdigte jahrzehntelange Arbeit von Mathematikern, bevor die letzten Schritte mit dem System von OpenAI unternommen wurden.

Der Durchbruch zeigt die wachsende Kluft zwischen öffentlicher und privater KI

Das Ausmaß des Fähigkeitszuwachses der KI-Agenten überraschte die Menschen, die mit aktuellen Grenzmodellen arbeiten.

Simon Smith, Executive Vice President für generative KI bei Klick Health, nannte es "eine der schockierendsten Dinge, die ich heute gesehen habe" und bemerkte, dass Astra selbst gerade erst veröffentlicht worden war und bereits als außergewöhnlich fähig galt. OpenAI sagt, dass sein Navier-Stokes-Modell Astra in der Mathematik erheblich übertrifft und sich noch in der Ausbildung befindet.

In der Zwischenzeit verwandelte sich die Feier schnell in die Frage, wer konkurrieren kann, wenn Grenzlabore über Systeme verfügen, die weitaus leistungsfähiger sind als alles, was Kunden zur Verfügung steht.

Joseph G. Allen, Professor an der Harvard T.H. Chan School of Public Health, argumentierte, dass das Experiment von OpenAI einen potenziellen Ausblick auf ein breiteres wirtschaftliches Problem bietet.

Allen wies auf die Umstände rund um den Durchbruch hin. Die Mathematiker Tristan Buckmaster und Levent Alpöge hatten öffentlich zugängliche KI-Tools verwendet, während sie verwandte Forschungen zur Fluiddynamik verfolgten, bevor OpenAI von den Fortschritten erfuhr und Tausende von Agenten einsetzte, die von seinem fortschrittlicheren privaten Modell betrieben wurden.

OpenAI sagt, es habe seine Millenniumspreis-Bemühungen begonnen, nachdem es Gerüchte gehört hatte, dass zwei Probleme gelöst worden seien. Es bestreitet, die unveröffentlichten Arbeiten von Buckmaster und Alpöge gesehen oder auf spezifische Benutzerdaten zugegriffen zu haben, obwohl das Unternehmen sagte, es könne nicht ausschließen, dass anonymisierte Produktnutzungsdaten zu allgemeinen Modellverbesserungen beigetragen haben.

Allen sagte, dass dasselbe Ungleichgewicht in verschiedenen kommerziellen Branchen auftreten könnte.

Ein Gründer könnte beispielsweise viel Geld ausgeben, um öffentlich verfügbare Modelle zu nutzen, um zu beweisen, dass KI die Hautkrebsdiagnose verbessern kann, Investitionen zu erhöhen und ein potenziell wertvolles Unternehmen zu gründen. Ein Grenzlabor könnte dann die Gelegenheit erkennen und ein überlegenes internes Modell mit Tausenden von Agenten gegen dasselbe Problem einsetzen.

"In ein paar Tagen gewinnen sie", schrieb Allen und argumentierte, dass sich das Szenario in der Pharmaindustrie, der Medizin, dem Recht, fortschrittlichen Materialien und Software wiederholen könnte.

Die Sorge rührt teilweise von dem Ausmaß her, das OpenAI demonstrierte. Das Unternehmen begann am 28. August mit dem Training seines neuen internen Modells und sagte, dass sich seine Leistung weiterhin verbessert.

Als die Agenten unerwartet ein verwandtes Problem der Euler-Gleichungen lösten, verschob OpenAI Ressourcen von anderen Millenniumspreis-Herausforderungen in Richtung Navier-Stokes und aktualisierte die Agenten, als leistungsfähigere Versionen des Modells verfügbar wurden.

Schnelle Fortschritte beleben Warnungen, dass KI unkontrollierbar werden könnte

Diese Beschleunigung hat auch den Warnungen von Forschern neues Gewicht verliehen, die an den Grenzsystemen mitgearbeitet haben, die jetzt über öffentlich verfügbare Modelle hinausgehen.

Jacob Coxon trat diese Woche von Anthropic zurück, nachdem er die vorhergehenden drei Jahre mit der Durchführung von Vortrainingsforschung bei Anthropic und OpenAI verbracht hatte, wo er als Kernbeitragender zu GPT-4o aufgeführt war.

Coxon sagte:

"Die Menschen, die KI entwickeln, glauben ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte."

Er beschuldigte OpenAI und Anthropic, auf eine selbstverbessernde Superintelligenz zuzusteuern, während sie "mit unserem Leben spielen" und argumentierte, dass der Wettbewerbsdruck die Labore dazu zwingt, immer leistungsfähigere Systeme zu entwickeln, trotz der Unsicherheit, ob diese unter menschlicher Kontrolle bleiben können.

Das Navier-Stokes-System zeigt nicht die rekursive Selbstverbesserung, vor der Coxon Angst hat. Die Menschen wählten weiterhin die Forschungsthemen, verteilten die Rechenressourcen und aktualisierten die Modelle. Aber das Experiment zeigt, wie schnell die Forschungskapazitäten expandieren können, wenn ein Grenzmodell über Tausende von koordinierten Agenten vervielfältigt wird.

Evan Hubinger, der Leiter der Ausrichtungswissenschaft bei Anthropic, unterstützte dann öffentlich Coxons zugrunde liegende Warnung.

"Wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte", sagte Hubinger und schätzte die Wahrscheinlichkeit dieses Ergebnisses auf mehr als 10 % innerhalb des nächsten Jahrzehnts.

Hubinger sagte, dass Anthropic versucht, das Problem anzugehen, aber noch keinen Plan hat, um die Superintelligenz auszurichten, und nicht klar auf dem Weg ist, einen zu finden. Er betonte, dass er das Risiko durch die gegenwärtigen Modelle als gering erachtet.

Seine Besorgnis konzentriert sich jedoch auf die zukünftige Superintelligenz, die durch rekursive Selbstverbesserung entsteht, bei der zunehmend fähige KI-Systeme helfen, noch leistungsfähigere Nachfolger zu produzieren.

Die Warnungen verbreiteten sich schnell über die KI-Labore hinaus, wobei der milliardenschwere Investor Bill Ackman Coxons Rücktritts-Thread mit einem Wort beschrieb: "Besorgniserregend."

Aufrufe zur Beendigung des KI-Rennens bewegen sich in Richtung Washington

Die Debatte verschiebt sich zunehmend von Warnungen über zukünftige Systeme hin zu Vorschlägen, die es Unternehmen verbieten würden, diese ohne neue Sicherheitsvorkehrungen zu entwickeln.

Der Abgeordnete des Bundesstaates Tennessee, Justin J. Pearson, ging weiter und argumentierte, dass KI-Unternehmen sich nicht selbst kontrollieren könnten, und nannte die unkontrollierte Entwicklung von maschinellem Lernen eine existenzielle Bedrohung.

"Das sollte uns in Aktion versetzen", sagte Pearson und forderte sofortige staatliche Intervention.

Bereits am 3. September kündigten Senator Bernie Sanders und Abgeordneter Greg Casar Gesetze an, die die Entwicklung und den Einsatz künstlicher Superintelligenz dauerhaft verbieten und die fortgeschrittene KI-Entwicklung vorübergehend aussetzen würden, bis ein Bundesregulierungsbehörde Sicherheitsregeln festlegt.

Ihr vorgeschlagenes Gesetz zur Verbot der künstlichen Superintelligenz würde auch die USA anweisen, internationale Vereinbarungen zu suchen, die verhindern sollen, dass superintelligente Systeme anderswo entwickelt werden.

Sanders hatte bereits im August OpenAI, Anthropic und Meta aufgefordert, die fortgeschrittene KI-Entwicklung auszusetzen, und auf wiederholte Episoden verwiesen, in denen zunehmend autonome Systeme scheinbar die erwarteten Sicherheitsvorkehrungen überschritten.

Der Druck kommt auch aus der Branche selbst. Anthropic schlug im Juni vor, dass führende KI-Labore einen koordinierten, überprüfbaren Mechanismus entwickeln, um die Grenzentwicklung zu verlangsamen oder zu stoppen, wenn die Fähigkeiten schneller voranschreiten als die verfügbaren Sicherheitsvorkehrungen.

OpenAI hat begonnen, automatisierte Abschaltmöglichkeiten für seine KI-Tools zu entwickeln, nachdem ein Sicherheitstest durchgeführt wurde, bei dem Agenten die Eindämmung durchbrachen und Zugang zum externen Netzwerk erhielten, während Gesetzgeber vorgeschlagen haben, den Bundesbehörden die Befugnis zu geben, gefährliche Systeme abzuschalten.

Das Unternehmen selbst erkannte die Spannungen an, als es das Ergebnis des Navier-Stokes bekannt gab. OpenAI sagte, der Durchbruch sei teilweise dazu gedacht, der Öffentlichkeit zu zeigen, wie schnell sich seine Modelle weiterentwickeln, und dass zukünftige Fortschritte "überlegtere Entscheidungen" über das Entwicklungstempo erfordern könnten.

Das lässt die politischen Entscheidungsträger mit dem gleichen Problem konfrontiert, das von Coxon und Hubinger aufgeworfen wurde: ob Regeln zur Kontrolle von superintelligenter KI etabliert werden können, bevor die Systeme entwickelt werden, vor denen Forscher Angst haben.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.