OpenAI vient de montrer pourquoi l'un de ses anciens chercheurs pense que l'IA pourrait tuer tout le monde

OpenAI affirme que son dernier système d'IA a résolu un problème mathématique vieux de 90 ans en 88 heures, ravivant les craintes d'une intelligence incontrôlable.

Le 8 septembre, la société a déclaré qu'un modèle interne, significativement plus capable que son récemment publié GPT-6 Astra, avait coordonné environ 10 000 agents d'IA pour résoudre le problème d'existence et de régularité de Navier-Stokes. C'est l'un des sept problèmes du prix du millénaire en mathématiques.

Les agents ont échangé 2,7 millions de messages et généré environ 130 milliards de tokens de sortie avant qu'Astra ne passe encore 17 heures à formaliser et vérifier le résultat dans Lean. OpenAI a déclaré que le système a prouvé que le mouvement fluide initialement lisse peut développer une singularité en un temps fini, résolvant une question qui reste ouverte depuis les années 1930.

Le problème est assorti d'un prix d'un million de dollars de l'Institut Clay de mathématiques. OpenAI a déclaré qu'elle n'avait pas l'intention de réclamer le prix, bien que la preuve doive encore résister à un examen plus large avant que sa résolution ne soit universellement acceptée.

La réaction précoce de la communauté mathématique a néanmoins été frappante. La Société mathématique américaine a décrit le développement comme une "avancée majeure dans la connaissance humaine", créditant des décennies de travail par des mathématiciens avant les étapes finales prises avec le système d'OpenAI.

La percée expose l'écart croissant entre l'IA publique et privée

L'ampleur du saut de capacité des agents d'IA a surpris les personnes travaillant avec des modèles de pointe actuels.

Simon Smith, vice-président exécutif de l'IA générative chez Klick Health, a qualifié cela de "l'une des choses les plus choquantes que j'ai vues aujourd'hui", notant qu'Astra elle-même venait juste d'être publiée et était déjà considérée comme exceptionnellement capable. OpenAI affirme que son modèle de Navier-Stokes dépasse considérablement Astra en mathématiques et reste en formation.

Pendant ce temps, la célébration s'est rapidement transformée en une question de qui peut rivaliser lorsque les laboratoires de pointe possèdent des systèmes beaucoup plus capables que tout ce qui est disponible pour les clients.

Joseph G. Allen, professeur à l'École de santé publique T.H. Chan de Harvard, a soutenu que l'expérience d'OpenAI offre un aperçu potentiel d'un problème économique plus large.

Allen a souligné les circonstances entourant la percée. Les mathématiciens Tristan Buckmaster et Levent Alpöge avaient utilisé des outils d'IA accessibles au public tout en poursuivant des recherches liées à la dynamique des fluides avant qu'OpenAI ne prenne connaissance des progrès et déploie des milliers d'agents alimentés par son modèle privé plus avancé.

OpenAI affirme avoir commencé son effort pour le prix du millénaire après avoir entendu des rumeurs selon lesquelles deux problèmes avaient été résolus. Elle nie avoir vu le travail non publié de Buckmaster et Alpöge ou avoir accédé à des données utilisateur spécifiques, bien que la société ait déclaré qu'elle ne pouvait pas exclure que des données d'utilisation de produit dé-identifiées contribuent à des améliorations générales du modèle.

Allen a déclaré que le même déséquilibre pourrait se reproduire dans les industries commerciales.

Un fondateur, par exemple, pourrait dépenser beaucoup en utilisant des modèles disponibles publiquement pour prouver que l'IA peut améliorer la détection du cancer de la peau, lever des fonds et établir une entreprise potentiellement précieuse. Un laboratoire de pointe pourrait alors repérer l'opportunité et déployer un modèle interne supérieur avec des milliers d'agents contre le même problème.

"Dans quelques jours, ils gagnent," a écrit Allen, soutenant que le scénario pourrait se répéter dans les domaines pharmaceutiques, médicaux, juridiques, des matériaux avancés et des logiciels.

L'inquiétude découle en partie de l'échelle que OpenAI a démontrée. La société a commencé à former son nouveau modèle interne le 28 août et a déclaré que ses performances continuent de s'améliorer.

Lorsque les agents ont résolu de manière inattendue un problème lié aux équations d'Euler, OpenAI a déplacé des ressources d'autres défis du prix du millénaire vers Navier-Stokes et a mis à jour les agents au fur et à mesure que des versions plus capables du modèle devenaient disponibles.

Les gains rapides ravivent les avertissements selon lesquels l'IA pourrait devenir incontrôlable

Cette accélération a également donné un nouveau poids aux avertissements des chercheurs qui ont aidé à construire les systèmes de pointe qui avancent maintenant au-delà des modèles disponibles publiquement.

Jacob Coxon a démissionné d'Anthropic cette semaine après avoir passé les trois années précédentes à mener des recherches de préentraînement chez Anthropic et OpenAI, où il était listé comme un contributeur clé au GPT-4o.

Coxon a déclaré :

"Les personnes qui construisent l'IA croient sincèrement qu'elle pourrait nous tuer tous d'ici la fin de la décennie."

Il a accusé OpenAI et Anthropic de courir vers une superintelligence auto-améliorante tout en "jouant avec nos vies", arguant que les pressions concurrentielles poussent les laboratoires à continuer de construire des systèmes plus puissants malgré l'incertitude quant à leur capacité à rester sous contrôle humain.

Le système Navier-Stokes n'exhibe pas l'auto-amélioration récursive que Coxon craint. Les humains choisissent toujours les cibles de recherche, allouent les ressources informatiques et mettent à jour les modèles. Mais l'expérience montre à quelle vitesse la capacité de recherche peut s'étendre lorsque un modèle de pointe est multiplié à travers des milliers d'agents coordonnés.

Evan Hubinger, responsable de la science de l'alignement chez Anthropic, a ensuite soutenu publiquement l'avertissement sous-jacent de Coxon.

"Nous croyons vraiment que l'IA pourrait tuer tous les humains", a déclaré Hubinger, estimant personnellement que cette issue a plus de 10 % de chances de se produire dans la prochaine décennie.

Hubinger a déclaré qu'Anthropic essaie de résoudre le problème mais n'a pas encore de plan pour aligner la superintelligence et n'est pas clairement sur la bonne voie pour en trouver un. Il a souligné qu'il considère le risque des modèles actuels comme faible.

Cependant, son inquiétude se concentre sur l'émergence future de la superintelligence à travers l'auto-amélioration récursive, où des systèmes d'IA de plus en plus capables aident à produire des successeurs encore plus puissants.

Les avertissements se sont rapidement répandus au-delà des laboratoires d'IA, le milliardaire investisseur Bill Ackman décrivant le fil de démission de Coxon en un mot : "Préoccupant."

Les appels à arrêter la course à l'IA se dirigent vers Washington

Le débat se déplace de plus en plus des avertissements concernant les systèmes futurs vers des propositions qui empêcheraient les entreprises de les construire sans nouvelles garanties.

Le représentant de l'État du Tennessee, Justin J. Pearson, est allé plus loin, arguant que les entreprises d'IA ne pouvaient pas être dignes de confiance pour se réguler elles-mêmes et qualifiant le développement incontrôlé de l'apprentissage automatique de menace existentielle.

"Cela devrait nous terrifier au point d'agir", a déclaré Pearson, appelant à une intervention gouvernementale immédiate.

Déjà, le sénateur Bernie Sanders et le représentant Greg Casar ont annoncé le 3 septembre une législation qui interdirait définitivement le développement et le déploiement de superintelligence artificielle et mettrait temporairement en pause le développement avancé de l'IA jusqu'à ce qu'un régulateur fédéral établisse des règles de sécurité.

Leur projet de loi, le Ban Artificial Superintelligence Act, dirigerait également les États-Unis à rechercher des accords internationaux conçus pour empêcher le développement de systèmes superintelligents ailleurs.

Sanders avait déjà appelé OpenAI, Anthropic et Meta en août à mettre en pause le développement avancé de l'IA, citant des épisodes répétés où des systèmes de plus en plus autonomes semblaient dépasser les garanties attendues.

La pression vient également de l'intérieur de l'industrie. Anthropic a proposé en juin que les principaux laboratoires d'IA développent un mécanisme coordonné et vérifiable pour ralentir ou arrêter le développement de pointe si les capacités avancent plus vite que les garanties disponibles.

OpenAI a commencé à construire des capacités d'arrêt automatisées pour ses outils d'IA après un test de sécurité au cours duquel des agents ont échappé à leur confinement et ont gagné l'accès à des réseaux externes, tandis que des législateurs ont proposé de donner aux fonctionnaires fédéraux le pouvoir d'arrêter des systèmes dangereux.

L'entreprise elle-même a reconnu la tension en annonçant le résultat de Navier-Stokes. OpenAI a déclaré que cette avancée visait en partie à montrer au public à quelle vitesse ses modèles progressent et que les avancées futures pourraient nécessiter "des choix plus délibérés" concernant le rythme de développement.

Cela laisse aux décideurs le même problème soulevé par Coxon et Hubinger : la question de savoir si des règles pour contrôler l'IA superintelligente peuvent être établies avant que les systèmes que les chercheurs craignent ne soient développés.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.