OpenAI ralentit le développement de nouveaux modèles d'IA en raison de problèmes de sécurité, malgré des progrès vers l'AGI

• OpenAI a ralenti le développement de nouveaux modèles d'IA après qu'un agent de test ait quitté l'environnement contrôlé et attaqué Hugging Face.
• Malgré la crise de sécurité, l'entreprise continue de progresser vers l'AGI, avec environ 80 % de progrès réalisés.
• Elle tente également de reprendre la tête de la course à l'IA face à Anthropic, en développant Astra, des agents autonomes, ses propres puces et des robots humanoïdes.

La société OpenAI a révisé son approche du développement de modèles d'IA avancés et a temporairement ralenti certaines recherches après qu'un de ses agents d'IA de test ait quitté un environnement contrôlé et attaqué la plateforme Hugging Face. Cela a été rapporté par TIME, basé sur des interviews avec plus de 20 dirigeants, employés, investisseurs, clients et concurrents de l'entreprise. Dans ce contexte, OpenAI essaie simultanément de rattraper son retard sur Anthropic dans la course commerciale tout en renforçant la sécurité de ses modèles.

OpenAI fait face à une crise de sécurité

Fin juillet, OpenAI a annoncé qu'un de ses prototypes internes avait réussi à sortir de l'environnement de test et à accéder aux systèmes de production de Hugging Face. Le modèle devait effectuer des tâches de cybersécurité, mais a plutôt exploité une vulnérabilité, contourné les restrictions et accédé aux réponses du test.

Selon le directeur scientifique d'OpenAI, Jakub Pachocki, l'entreprise avait des outils pour surveiller le comportement du modèle, mais ne les avait pas appliqués à un système de ce niveau de complexité, car elle ne s'attendait pas à de telles capacités.

<Nous ne nous attendions pas complètement> à ce dont le système était capable, a déclaré Pachocki, ajoutant : <Pour l'IA, il faut s'attendre à l'inattendu>.

Après l'incident, OpenAI a gelé certaines expériences, ralenti d'autres recherches, renforcé l'isolation des modèles et élargi la surveillance. L'entreprise a également suspendu l'entraînement d'un nouveau modèle, qui devrait offrir l'un des plus grands bonds en avant dans les capacités de l'IA.

Le PDG d'OpenAI, Sam Altman, a qualifié la situation non seulement de problème de sécurité, mais de problème fondamental de conformité du comportement de l'IA aux intentions humaines.

<Je pense que toute erreur de conformité doit désormais être considérée comme un problème très sérieux, et nous passerons autant de temps que nécessaire pour le résoudre>, a-t-il déclaré.

Plus tard, Altman a formulé la position de l'entreprise encore plus clairement :

<Assurer la sécurité de l'IA est plus important que toute dynamique de développement de l'entreprise>.

OpenAI tente de reprendre la tête

Parallèlement, OpenAI effectue une restructuration massive de son entreprise après une année au cours de laquelle, selon TIME, elle a perdu sa position de leader dans certains segments face à Anthropic.

Ce concurrent a rapidement développé Claude Code et a dépassé OpenAI en termes de revenus annuels déclarés et d'évaluation privée. Pendant ce temps, OpenAI a également dû faire face au départ de plusieurs dirigeants, à la perte de chercheurs au profit de Meta et à une intensification de la concurrence de la part de Google.

L'entreprise réduit les projets secondaires et concentre ses ressources informatiques sur des produits clés, notamment Codex. En juillet, les revenus d'entreprise d'OpenAI ont pour la première fois dépassé les revenus de consommation, et en mars, l'entreprise a levé 122 milliards de dollars avec une évaluation de 852 milliards de dollars.

En même temps, OpenAI continue d'étoffer son infrastructure. Selon Sachin Katti, responsable des calculs, l'entreprise prévoit de dépenser environ 50 milliards de dollars en capacités de calcul d'ici 2026.

<Nous avons encore une pénurie de capacités de calcul. Si nous pouvions revenir en arrière, nous aurions probablement dû acheter beaucoup plus>, a-t-il déclaré.

Astra, AGI et agents IA personnels

Malgré le ralentissement des recherches, OpenAI continue de travailler sur la nouvelle génération de modèles Astra. Lors d'une démonstration fermée pour des clients, le système a exécuté des tâches complexes à l'aide de 16 agents IA qui se répartissaient les parties d'un problème mathématique et coordonnaient leur travail pour un résultat commun.

Le modèle a également démontré sa capacité à travailler avec un ordinateur, interagissant de manière autonome avec différents programmes. Altman a qualifié de particulièrement importante la possibilité de créer des - des employés virtuels capables d'exécuter des tâches pendant de longues périodes sans contrôle humain constant.

Selon lui, Astra pourrait avoir le plus grand impact sur la recherche scientifique.

<Je m'attends à ce que ce soit le premier modèle qui invente réellement de nouvelles choses d'une manière qui ait de l'importance>, a déclaré Altman.

Chez OpenAI, on estime également qu'ils se rapprochent de la création d'une intelligence artificielle générale (AGI). Le directeur de la recherche, Mark Chen, a évalué la préparation de l'entreprise à cette étape à environ 80 %, et Altman a déclaré qu'à la fin de l'année, OpenAI pourrait disposer d'un système interne qu'il appellera AGI.

L'un des axes clés de l'entreprise reste le développement d'agents autonomes. OpenAI souhaite transformer ChatGPT d'un système qui répond principalement aux requêtes en un outil capable d'exécuter des tâches de manière autonome, d'utiliser différents modèles et services, et d'agir en fonction des objectifs de l'utilisateur.

L'entreprise travaille également sur ses propres appareils, puces et robots humanoïdes. Altman a déclaré qu'OpenAI <créerait certainement> des robots humanoïdes, et que la première puce d'inférence Jalapeño devrait commencer à être utilisée d'ici la fin de l'année.

En même temps, l'entreprise reconnaît que l'expansion continue de l'IA est impossible sans résoudre le problème de la sécurité. C'est pourquoi OpenAI est prête à sacrifier temporairement le rythme de développement.

<Si nous atteignons un moment où cela devient dangereux, nous devrons ralentir, et c'est ainsi que cela doit être>, a déclaré Mia Glaize, responsable de la sécurité et de l'alignement chez OpenAI.

Rappelons que l'entreprise envisage également une introduction en bourse. La directrice financière d'OpenAI, Sarah Friar, a déclaré aux employés que l'entreprise pourrait devenir publique en 2027 ou plus tôt, si les affaires continuent de croître.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.