Jensen Huang à gauche, Amodei à droite

Titre original : « Jensen Huang à gauche, Amodei à droite »
Auteur original : Su Yang, Tencent Technology

L'IA de pointe continue d'accélérer ou de freiner, devenant le sujet le plus controversé de la Silicon Valley.

Autour de cette controverse, les géants de la Silicon Valley commencent à prendre position. Amodei, Altman, Musk et Hassabis forment le « camp de la pause ». Jensen Huang est un fervent défenseur de l'accélération, critiquant le « catastrophisme de l'IA » comme manquant de fondement scientifique. Yang Li-Kun se moque continuellement d'Amodei, affirmant : « (Amodei) pensait déjà chez OpenAI que GPT-2 était trop dangereux pour être open source, je m'en moquais à l'époque, et maintenant tout le monde peut continuer. »

En revanche, Zuckerberg et Nadella semblent relativement neutres.

Le fait que les géants prennent position signifie qu'il n'y a pas de consensus à Silicon Valley sur la pause des modèles de pointe, ce qui découle des différences d'écosystème dans la chaîne de valeur de l'IA. Les leaders au niveau des modèles peuvent appeler à une pause pour différentes raisons, mais il est peu probable que des entreprises comme Oracle, AWS, et Nvidia, qui détiennent des commandes de puissance de calcul de plusieurs milliards de dollars, acceptent de s'arrêter.

À Washington, les appels à une « pause » n'ont pas seulement manqué de soutien, mais ont également suscité une série de questions.

« Cela me semble un peu comme un cheval de Troie », a déclaré JD Vance lors d'une interview, reflétant ainsi le véritable sentiment à Washington : lorsque les entreprises qui fabriquent le cheval de Troie demandent à ce que la porte soit plus étroite, il faut se demander à qui cette porte est réellement destinée.

01 Pause, avertissement et une lettre de démission

Le déclencheur de ce débat est la démission de Jacob Coxon, un chercheur d'Anthropic.

Il a précédemment travaillé pendant trois ans sur la recherche en pré-entraînement chez OpenAI et Anthropic, participant personnellement à l'entraînement des modèles de pointe. Dans un long post sur X, il n'a pas fait de politesses : « Les deux entreprises n'agissent pas de manière responsable. Elles se dirigent droit vers une super-intelligence auto-améliorante, pariant nos vies. »

Il a déclaré que les personnes au sein du laboratoire croyaient réellement que l'IA pourrait tuer tous les humains dans dix ans, et ce n'est pas une performance de relations publiques. De nombreux collègues ont commencé à utiliser des termes comme « moment critique » et « fin du monde » pour décrire la situation actuelle. Coxon a même renoncé à des actions qui lui revenaient. Il n'est resté qu'un mois chez Anthropic, alors qu'il fallait six mois selon les règles de l'entreprise pour pouvoir exercer ses options.

Jacob Coxon, ancien chercheur d'Anthropic

Ensuite, Evan Hubinger, responsable de la science de l'alignement chez Anthropic, a publiquement répondu : Jacob a raison, nous croyons vraiment que l'IA pourrait tuer tous les humains. Personnellement, je pense que la probabilité est supérieure à 10 % dans les dix prochaines années. Anthropic fait de son mieux, mais nous n'avons pas encore de plan clair pour aligner la super-intelligence, et nous ne sommes pas encore sur la bonne voie.

Ces deux déclarations ont propulsé des inquiétudes qui étaient principalement en fermentation à l'intérieur des laboratoires directement devant le public. Dans ce contexte, le fondateur et PDG d'Anthropic, Amodei, a immédiatement publié un long texte, présentant systématiquement l'argument de « ralentir la recherche de pointe ». Il ne parle plus seulement de « sécurité par le biais de multiples investissements », mais exige clairement de contrôler activement la vitesse d'augmentation des capacités, laissant le temps aux mécanismes de sécurité pour rattraper.

Altman, Musk et Hassabis ont rapidement répondu publiquement, formant le « camp de la pause ».

Avant l'émergence des théories de « ralentissement » de Jacob Coxon et Amodei, des figures comme Yoshua Bengio et Geoffrey Hinton, ces « pères de l'IA », avaient déjà exprimé des préoccupations concernant les risques.

Concernant la démission de Coxon, Bengio a déclaré que les scientifiques des laboratoires d'IA de pointe sont souvent capables de voir les capacités des derniers modèles plus tôt que le public, donc leur jugement sur les risques mérite d'être pris au sérieux.

En même temps, Bengio a donné des exemples concrets, affirmant que les systèmes d'IA actuels possèdent déjà des capacités de piratage et de persuasion, et s'ils sont utilisés pour nuire aux intérêts humains, cela pourrait avoir de graves conséquences. Il s'inquiète également qu'avec l'IA capable de planifier sur des périodes plus longues, ces risques pourraient encore s'aggraver.

Lorsque la BBC a demandé à Geoffrey Hinton si la probabilité que l'IA « tue tous les humains » dans les dix prochaines années était supérieure à 10 %, il a également déclaré que ce chiffre « n'est pas déraisonnable », tout en soulignant que personne ne sait vraiment comment donner une estimation fiable, car l'humanité n'a jamais été confrontée à l'existence d'une espèce « potentiellement plus intelligente que nous ».

Hinton pense que l'IA pourrait être utilisée à l'avenir pour concevoir des virus biologiques dangereux, des virus informatiques et mener des cyberattaques à grande échelle. Par conséquent, l'humanité doit trouver des moyens efficaces de contrôle avant que les risques ne deviennent incontrôlables.

Contrairement aux partisans de la nouvelle « pause » de la Silicon Valley, les « pères de l'IA » appellent davantage à prêter attention aux risques et à explorer des mécanismes de contrôle des risques, plutôt qu'à freiner directement. De plus, en termes de position, les opinions et suggestions du domaine académique sont plus pures, tandis que les initiatives des laboratoires de pointe, même si elles affichent ostensiblement une étiquette « pour l'humanité », restent difficilement déconnectées des considérations commerciales à 100 %.

C'est précisément pourquoi JD Vance a déclaré que la « pause » ressemble à un cheval de Troie.

02 Divergences et positions

Les camps « Accélération », « Ralentissement » et « Neutre ». Source : New York Times

Le 15 septembre, plusieurs dirigeants de sociétés technologiques se sont exprimés lors de la conférence Dreamforce de Salesforce, et ce débat a commencé à se transformer en un affrontement d'opinions plus direct.

Ce jour-là, Amodei, Huang et Altman ont tous abordé la sécurité de l'IA, mais ont donné des réponses différentes concernant la vitesse de développement, la responsabilité en matière de sécurité et les actions que les entreprises devraient entreprendre.

Amodei, partageant la scène avec le PDG de Salesforce, Marc Benioff, a de nouveau souligné que les entreprises d'IA devraient établir des normes de sécurité plus élevées par leurs propres actions. Il estime que les entreprises qui prennent des mesures de sécurité plus strictes peuvent devenir un moyen de faire avancer l'ensemble de l'industrie.

En d'autres termes, l'attitude d'Amodei commence à changer, passant d'un appel à un ralentissement de l'ensemble de l'industrie à une demande pour que les entreprises ajoutent elles-mêmes des garde-fous de sécurité.

Jensen Huang a déclaré qu'« il n'est pas nécessaire de nouvelles lois, ni de nouvelles réglementations ». À son avis, la vitesse et la sécurité ne sont pas nécessairement opposées ; les entreprises peuvent avancer aussi rapidement que possible dans le développement des modèles ; si elles découvrent qu'elles perdent le contrôle ou que leurs produits ne peuvent pas garantir la sécurité, elles devraient alors s'arrêter pour résoudre le problème.

L'attitude de Benioff est plus ouverte et met l'accent sur l'autonomie. Il a déclaré que si une entreprise pense qu'elle devrait ralentir, elle devrait ralentir ; si elle pense qu'elle devrait accélérer, elle devrait accélérer, tout en devant également assumer la responsabilité de ses décisions.

Le fondateur et PDG d'OpenAI, Altman, a déclaré lors de Dreamforce qu'il est très confiant qu'OpenAI et l'ensemble de l'industrie de l'IA peuvent se développer en toute sécurité sans causer de dommages majeurs au public. Il a également exprimé sa déception face à la façon dont ses opinions ont été interprétées comme un soutien à un ralentissement du développement de l'IA dans l'ensemble de l'industrie.

En d'autres termes, Altman commence également à changer, soulignant que ce qu'il veut exprimer n'est pas un appel à un ralentissement de l'industrie, mais que la sécurité et le travail de surveillance devraient précéder l'amélioration des capacités.

Zuckerberg ne soutient pas l'idée que les actions de sécurité d'une entreprise doivent être basées sur le ralentissement simultané d'autres entreprises d'IA. Il estime que l'introduction d'agences d'évaluation indépendantes et de consultants externes pour vérifier la sécurité des modèles est la meilleure pratique de l'industrie. Il a également révélé que Meta avait déjà volontairement ralenti le développement de l'outil Muse AI, plutôt que d'attendre que d'autres entreprises parviennent à un consensus sur le ralentissement du développement de l'IA.

L'attitude du PDG de Microsoft, Satya Nadella, est en quelque sorte alignée avec celle d'Altman, encourageant l'ajout de garde-fous et une concurrence suffisante.

« Ce que nous devons d'abord faire, c'est servir l'humanité et garantir que la technologie reste sous le contrôle de l'humanité. En même temps, la large diffusion de la technologie de l'IA est la clé, elle doit être sélective et compétitive. La sécurité doit être prise au sérieux, mais elle doit être résolue de manière ingénieuse et transparente, et non pas mystifiée », a déclaré Nadella lors du sommet All-In Summit 2026 le 15 septembre.

En plus de ces entrepreneurs, la voix de Washington a également commencé à s'ajouter.

Après que Trump a directement appelé Jensen Huang pour exprimer publiquement son soutien au développement continu de l'industrie de l'IA, David Sacks, co-président du Conseil consultatif scientifique et technologique du président américain, a ensuite déclaré que les entreprises technologiques peuvent continuer à faire avancer l'IA de pointe, tout en remettant en question les motivations derrière les propositions de « ralentissement » de certaines entreprises.

03 Qui doit établir les règles ?

À mesure que la discussion s'élargit, la controverse s'étend également à la question de savoir si les normes de sécurité de l'IA de pointe doivent être établies par les entreprises elles-mêmes ou nécessitent l'intervention du gouvernement et d'organismes indépendants.

Bloomberg a cité des sources informées, indiquant qu'Anthropic, Google et OpenAI avaient précédemment discuté de la création d'un organisme de normalisation de l'industrie de l'IA.

En juillet, Hassabis a publié un article proposant la création d'un organisme de normalisation de l'IA dirigé par les États-Unis, fonctionnant de manière similaire à la FINRA (Financial Industry Regulatory Authority). Cet organisme pourrait tester les modèles avancés d'IA avant leur déploiement officiel pour déterminer s'ils atteignent les normes de sécurité appropriées.

Selon la vision de Hassabis, cet organisme ne devrait pas être entièrement dirigé par le gouvernement, mais devrait adopter un modèle de partenariat public-privé. Dans ce cadre, le gouvernement jouerait un rôle de supervision, tandis que l'industrie de l'IA fournirait des fonds et impliquerait des experts techniques indépendants ainsi que des représentants de la communauté open source.

Hassabis tente d'ajouter un contrôle de sécurité indépendant avant que les modèles n'entrent dans le monde réel, ce qui correspond à la logique de réglementation publiée par le gouvernement américain début juin : les entreprises peuvent volontairement soumettre leurs modèles à une évaluation gouvernementale avant leur publication, avec une fenêtre d'accès pouvant aller jusqu'à 30 jours avant la publication, tout en précisant qu'il n'y a pas d'approbation obligatoire ni de licence de publication.

Il est assez dramatique que les modèles Fable 5 et Mythos 5 aient été lancés sans suivre ce processus, mais aient été découverts avec de fortes capacités de cyberattaque et de défense, et aient finalement été temporairement retirés par le BIS américain sous forme de contrôle des exportations.

Cependant, même ainsi, l'attitude politique ne demande que l'ajout de garde-fous de sécurité, sans déclarer ou guider un ralentissement.

Jakub Pachocki, le scientifique en chef d'OpenAI, partage une opinion similaire à celle de Hassabis. Début septembre, il a également souligné que le partage des normes de sécurité et la coordination internationale autour du développement de l'IA devraient devenir des priorités actuelles.

04 Personne ne freine réellement

Jusqu'à présent, ce débat n'a pas réellement changé le rythme de développement des entreprises d'IA de pointe.

Anthropic, OpenAI, Google, xAI et d'autres continuent de faire avancer la recherche sur les modèles, et la concurrence autour de la puissance de calcul, des centres de données et des infrastructures d'IA n'a pas cessé à cause de ce débat. Sur le marché des capitaux, des changements différents se produisent : Anthropic continue de préparer son IPO cette année, tandis qu'OpenAI a reporté son plan d'IPO à 2027.

Amodei souhaite que l'ensemble de l'industrie s'arrête pour chercher des solutions pour ajouter des garde-fous aux capacités des modèles, ce qui peut être compris comme « faire preuve de générosité aux dépens des autres ».

C'est aussi pourquoi Amodei a été étiqueté comme « prétendant être un petit ange parfait ».

Concernant ce sujet de contrôle des risques, la position représentée par Jensen Huang est en fait plus conforme à la réalité ; si une entreprise a des inquiétudes ou découvre un problème, elle peut tout à fait explorer des solutions par elle-même et partager les solutions efficaces qu'elle a trouvées avec l'industrie.

Faire arrêter une équipe de 100 personnes et une équipe de 1000 personnes sans avoir de base de consensus est tout simplement impossible. Même Amodei lui-même sait très bien que s'il s'arrête seul, il risque d'être dépassé par des concurrents comme OpenAI.

Plus important encore, il existe des divergences au niveau de la gouvernance d'entreprise. Anthropic et OpenAI sont des entreprises à but d'intérêt public (Public Benefit Company), qui peuvent crier « abandonner les bénéfices financiers à court terme pour l'avenir de l'humanité », et dire aux investisseurs « nous avons déjà un consensus là-dessus », mais des entreprises cotées comme Google, Microsoft et Meta ont une obligation fiduciaire légale envers leurs actionnaires du marché secondaire.

La possibilité d'un consensus entre des entreprises aux intérêts différents sur ce point n'est pas très grande.

Un autre détail qui pourrait être négligé. Avant le « débat sur la pause », Anthropic et OpenAI ont tous deux lancé leurs modèles les plus puissants, l'un étant Fable 5.1 et l'autre GPT-6 Astra.

Sous les appels de tous, d'autres entreprises vont-elles encore lancer de nouveaux modèles ?

Lien original