Quel est le danger de Mythos ? Pourquoi Anthropic a décidé de ne pas sortir le nouveau modèle

Titre original de l'article : Comment Anthropic Learned Mythos était trop dangereux pour la nature
Auteurs de l'article original: Margi Murphy, Jake Bleiberg et Patrick Howell O'Neill, Bloomberg
Traduction : Peggy, BlockBeats

Note de l'éditeur: Quand une entreprise d'IA choisit de ne pas diffuser son modèle le plus puissant directement au public, cela signifie en soi un problème.

Le Mythos d'Anthropic était déjà capable de réaliser indépendamment un processus d'attaque entier. De la découverte de vulnérabilités zero day à l'écriture de code d'exploitation en passant par l'enchaînement de chemins en plusieurs étapes pour pénétrer les systèmes centraux, ces tâches, qui nécessitaient à l'origine une collaboration prolongée des meilleurs pirates informatiques, ont été compressées en heures, voire en minutes.

C'est pourquoi, au moment où le modèle a été divulgué, Scott Bessent et Jerome Powell ont convoqué une réunion avec les institutions de Wall Street, demandant à l'utiliser pour "l'auto-inspection". Lorsque la capacité de détection des vulnérabilités est libérée à grande échelle, le système financier n'est plus confronté à des attaques isolées, mais à un balayage continu.

Un changement plus profond réside dans la structure de l'offre. Dans le passé, la découverte de vulnérabilités s'appuyait sur quelques équipes de sécurité et sur l'expertise des pirates, avec un rythme lent et irrépétible. Maintenant, cette capacité commence à être produite en série par des modèles, abaissant le seuil à la fois pour les attaques et les défenses. Une métaphore d'un initié est assez directe: remettre le modèle à un hacker ordinaire revient à le doter de capacités d'opérations spéciales.

Les institutions ont commencé à utiliser les mêmes outils pour vérifier rétrospectivement leurs propres systèmes. JPMorgan Chase, Cisco Systems et d'autres effectuent des tests internes, espérant corriger les vulnérabilités avant qu'elles ne soient exploitées. Cependant, les contraintes de la réalité n'ont pas changé; la vitesse de découverte augmente tandis que le processus de réparation reste lent. "Nous sommes bons pour trouver des vulnérabilités mais pas pour les corriger", comme l'a souligné Jim Zemlin, soulignant l'inadéquation temporelle.

En fait, parce que Mythos n'est pas seulement une amélioration d'une seule capacité, mais plutôt une intégration, une accélération et un abaissement du seuil d'utilisabilité des capacités d'attaque précédemment dispersées et contraintes, une fois en dehors de l'environnement contrôlé, la façon dont cette capacité se répandra reste inconnue, sans expérience existante pour référence.

Le danger ne réside pas dans ce qu'il peut faire, mais dans qui peut l'utiliser et dans quelles conditions.

L'article original est le suivant :

Par une douce soirée de février, lors d'une pause lors d'un mariage à Bali, Nicholas Carlini s'est brièvement éloigné, a ouvert son ordinateur portable et s'est préparé à " causer quelques ravages ". À ce moment-là, Anthropic venait de sortir un nouveau modèle d’intelligence artificielle appelé Mythos pour les tests internes, et ce chercheur renommé en IA était sur le point de voir à quel point il pouvait vraiment semer le trouble.

Anthropic a engagé Carlini pour travailler sur des tests de stress de ses modèles d'IA afin d'évaluer si les pirates pourraient potentiellement les exploiter à des fins d'espionnage, de vol ou de destruction. Alors qu'elle assistait à un mariage indien à Bali, Carlini a été étonnée par les capacités de ce modèle.

En quelques heures, il a trouvé plusieurs techniques qui pourraient être utilisées pour pénétrer les systèmes utilisés dans le monde entier. De retour au bureau d'Anthropic dans le centre-ville de San Francisco, il découvre en outre que Mythos est déjà capable de générer de manière autonome de puissants outils d'intrusion, y compris des tactiques visant Linux – l'épine dorsale de la plupart des systèmes informatiques modernes.

Mythos a organisé un « hold-up bancaire numérique » : il pouvait contourner les protocoles de sécurité, pénétrer dans le système réseau par la porte d'entrée, puis percer le coffre-fort numérique pour obtenir ses actifs en ligne. Autrefois, l'IA ne pouvait que « choisir les serrures », mais elle a maintenant la capacité de planifier et d'exécuter un « vol » entier.

Carlini et quelques collègues ont commencé à tirer la sonnette d'alarme au sein de l'entreprise, rapportant leurs conclusions. Pendant ce temps, presque tous les jours, ils découvraient des vulnérabilités à haut risque ou potentiellement mortelles dans les systèmes sondés par Mythos – des problèmes que seuls les meilleurs hackers du monde seraient capables de découvrir.

Le modèle d'IA de nouvelle génération d'Anthropic, Mythos, a été prouvé comme étant capable de pénétrer divers systèmes mondiaux. (Source image: Jakub Porzycki / NurPhoto / AP)

Simultanément, en interne chez Anthropic, une équipe appelée « Frontier Red Team » – composée de 15 employés appelés « Fourmis » – effectuait également des tests similaires. La responsabilité de cette équipe était de s'assurer que les modèles de l'entreprise ne seraient pas utilisés pour nuire à l'humanité. Ils amèneraient des chiens robotisés dans des entrepôts et testeraient avec des ingénieurs si des chatbots pourraient être utilisés pour contrôler malicieusement ces appareils; ils collaboreraient également avec des biologistes pour évaluer si les modèles pourraient être utilisés pour créer des armes biologiques.

Cependant, cette fois-ci, ils ont progressivement réalisé que le plus grand risque posé par Mythos venait du domaine de la cybersécurité. "Dès les premières heures d'avoir le modèle, nous savions que c'était différent", a expliqué Logan Graham, qui est responsable de l'équipe.

Le modèle précédent, Opus 4.6, avait montré la capacité d'aider les humains à exploiter des vulnérabilités logicielles. Mais Graham a souligné que Mythos pouvait désormais "se salir les mains" et exploiter ces vulnérabilités par ses propres moyens. Cela représentait un risque au niveau de la sécurité nationale, et sur cette base, il a lancé un avertissement aux dirigeants de la compagnie. Ce qui l'a contraint à faire face à un dilemme: expliquer à la direction que le prochain moteur de revenus important de la société pourrait ne pas pouvoir être diffusé au public en raison de sa trop grande dangerosité.

Le cofondateur et scientifique en chef d'Anthropic, Jared Kaplan, a déclaré que pendant le processus de formation de Mythos, il avait suivi "de très près" ses progrès. En janvier, il a commencé à réaliser que la capacité du modèle à découvrir les vulnérabilités du système était exceptionnellement forte. En tant que physicien théoricien, Kaplan devait déterminer si ces capacités n'étaient qu'un « phénomène techniquement intéressant » ou « une réalité étroitement liée à l'infrastructure internet ». Finalement, il a conclu que c'était ce dernier.

Jared Kaplan (cofondateur et scientifique en chef de l'anthropologie) Image Source : Chris J. Ratcliffe/Bloomberg

Sur une période de deux semaines, de fin février à début mars, Kaplan et le cofondateur Sam McCandlish ont délibéré sur l'opportunité de sortir ce modèle.

Dès la première semaine de mars, l'équipe dirigeante de l'entreprise – dont le PDG Dario Amodei, la présidente Daniela Amodei, le directeur de la sécurité de l'information Vitaly Gudanets et d'autres – a tenu une réunion pour entendre l'exposé de Kaplan et McCandlish.

Leur conclusion était que Mythos présentait un risque trop élevé et ne convenait pas à une diffusion publique complète. Anthropic devrait toutefois encore permettre à certaines entreprises, y compris concurrentes, de le tester.

Dès la première semaine de mars, la société a fini par parvenir à un consensus: approuver Mythos pour son déploiement en tant qu'outil de défense contre la cybersécurité.

Dario Amodei (PDG d'Anthropic) Image Source : Samyukta Lakshmi/Bloomberg

La réaction du marché a été quasi instantanée. Le jour où Anthropic a révélé l'existence de Mythos, aux États-Unis Le secrétaire au Trésor Scott Bessent et le président de la Réserve fédérale Jerome Powell ont convoqué une réunion d'urgence des principales institutions de Wall Street à Washington. Le message était clair: utilisez immédiatement Mythos pour identifier les vulnérabilités de vos systèmes.

Selon une source proche des cadres présents à la réunion (qui a requis l’anonymat en raison du caractère privé des discussions), le sérieux de la réunion était évident – les participants ont même refusé de divulguer le contenu de la réunion à certains conseillers principaux.

Des responsables de la Maison Blanche ont lancé un avertissement urgent sur Mythos comme outil de piratage potentiel et leur recommandation de "l'utiliser pour la défense", soulignant un changement plus profond: l'intelligence artificielle devient rapidement une force décisive dans le domaine de la cybersécurité. Anthropic a sélectivement ouvert Mythos à une utilisation limitée par certaines institutions dans l'initiative "Project Glasswing", y compris des entreprises comme Amazon Web Services, Apple et JPMorgan Chase, leur permettant de réaliser des tests ; dans le même temps, les agences gouvernementales ont également montré un vif intérêt.

Avant de s'ouvrir au public, Anthropic a longuement informé les hauts responsables du gouvernement américain des capacités de la version préliminaire de Mythos, y compris ses applications potentielles dans les cyberattaques et la défense. Simultanément, la société est engagée dans des discussions continues avec de multiples gouvernements nationaux. Un employé d'Anthropic, qui a requis l'anonymat en raison d'affaires internes, a divulgué cette information.

Son concurrent OpenAI lui a rapidement emboîté le pas, en annonçant mardi le lancement d'un outil de découverte de vulnérabilités logicielles, GPT-5.4-Cyber.

En testant les premières versions, les chercheurs ont découvert des douzaines d'occurrences comportementales « préoccupantes », notamment le non-respect des instructions humaines et, dans de très rares cas, la tentative de dissimuler leurs actions après avoir violé les instructions.

Actuellement, Anthropic n'a pas officiellement diffusé Mythos comme outil de cybersécurité auprès du public, et les chercheurs externes n'ont pas encore totalement validé ses capacités. Toutefois, la décision antérieure de la compagnie concernant l'« accès restreint » reflète un consensus croissant de l'industrie et du gouvernement : L’IA remodèle la structure économique de la cybersécurité – elle réduit considérablement le coût de la découverte des vulnérabilités, comprime le temps de préparation des attaques et abaisse les barrières techniques pour certains types d’attaques.

Anthropic a également averti que la plus grande autonomie de Mythos présente des risques en soi. Au cours des essais, l'équipe a observé plusieurs cas troublants : le modèle a désobéi aux instructions et même tenté de couvrir ses traces après une violation. Dans un incident, le modèle a conçu de manière autonome un chemin d'attaque en plusieurs étapes pour « s'échapper » d'un environnement restreint, obtenir un accès Internet plus large et diffuser du contenu de manière proactive.

Dans le monde réel, les logiciels sur lesquels s'appuient les applications des systèmes bancaires aux systèmes hospitaliers contiennent généralement des vulnérabilités de code complexes et obscures, qui nécessitent souvent des semaines, voire des mois de découverte par les professionnels. Une fois que les pirates exploitent ces vulnérabilités, cela peut entraîner des violations de données ou des attaques par ransomware, entraînant de graves conséquences.

Cependant, de nombreux poids lourds ont également mis en doute les véritables capacités de Mythos et ses risques potentiels. David Sacks, conseiller en IA à la Maison Blanche, a déclaré sur la plateforme sociale X: "De plus en plus de gens commencent à se demander si Anthropic est le "garçon qui a crié au loup" dans l'industrie de l'IA. Si la menace posée par Mythos ne se concrétise finalement pas, l'entreprise sera confrontée à un grave problème de réputation. "

Cependant, la réalité est que les pirates utilisent depuis longtemps de grands modèles de langage pour lancer des attaques sophistiquées. Par exemple, un groupe de cyberespionnage a déjà utilisé le modèle Claude d'Anthropic pour tenter de percer une trentaine de cibles; d'autres attaquants ont utilisé l'IA pour voler des données à des agences gouvernementales, déployer des ransomwares et même contourner rapidement des centaines d'outils de pare-feu utilisés pour la protection des données.

Selon une source au fait du dossier, les responsables américains de la sécurité nationale considèrent l’émergence de Mythos comme porteuse d’incertitudes sans précédent. L’évaluation des risques liés à la cybersécurité est devenue encore plus difficile. Si ce modèle était donné à des hackers individuels, son effet pourrait s'apparenter à transformer un soldat ordinaire en membre des forces spéciales.

En même temps, ce type de modèle pourrait également devenir un « amplificateur de capacités », permettant à une organisation de pirates informatiques criminels de posséder la capacité d'attaque d'un petit État-nation et permettant aux pirates informatiques et militaires de certains pays de petite ou moyenne taille de mener des cyberattaques que seules les grandes puissances pouvaient auparavant accomplir.

L'ancien chef de la cybersécurité de la NSA Rob Joyce a déclaré: « Je crois qu'à long terme, l'IA nous rendra plus sûrs et plus résilients. Cependant, d'ici un certain temps, il y aura une « période sombre » pendant laquelle l'IA offensive aura un avantage évident - ceux qui n'ont pas fortifié leurs défenses de manière adéquate seront les premiers à tomber. »

Il convient de noter que Mythos n'est pas le seul modèle à posséder de telles capacités. Diverses organisations ont déjà utilisé de grands modèles linguistiques pour la recherche sur la vulnérabilité, y compris les premières versions de Claude et Big Sleep.

Avant la sortie de Mythos, JPMorgan Chase avait déjà réussi à utiliser de grands modèles de langage pour aider à découvrir les vulnérabilités des logiciels bancaires. Une personne bien au fait de la situation (qui a requis l'anonymat en raison de sa participation à des projets de sécurité interne) a divulgué cette information. (Source image: Michael Nagle / Bloomberg)

Selon la source, les "vulnérabilités zero day", pour lesquelles il fallait auparavant des jours, voire des semaines, pour identifier et écrire du code d'exploitation, peuvent désormais être identifiées en à peine une heure, voire quelques minutes, grâce à l'IA. Une "vulnérabilité zero day" désigne une faille de sécurité que les défenseurs n'ont pas encore détectée, ne laissant presque pas le temps de patcher.

Actuellement, JPMorgan Chase se concentre principalement sur la chaîne d'approvisionnement et l'espace logiciel libre, où elle a découvert de multiples vulnérabilités et fourni des commentaires aux fournisseurs respectifs.

Le PDG de la société, Jamie Dimon, a déclaré lors d'une conférence téléphonique sur les résultats que l'émergence de Mythos "indique qu'il y a encore un grand nombre de vulnérabilités qui doivent être corrigées de toute urgence".

Jamie Dimon Source de l'image : Krisztian Bocsi / Bloomberg

Selon une source au fait du dossier, JPMorgan Chase avait déjà discuté avec Anthropic pour tester le modèle avant que l'existence de Mythos ne soit connue du public. La source, qui a requis l'anonymat car elle n'était pas autorisée à s'exprimer publiquement, a déclaré que JPMorgan Chase refusait de commenter ce point.

Désormais, d'autres banques et entreprises technologiques de Wall Street tentent également d'utiliser Mythos pour corriger de manière proactive les défauts du système avant que les pirates ne découvrent des vulnérabilités. Bloomberg a rapporté que des institutions financières telles que Goldman Sachs, Citigroup, Bank of America et Morgan Stanley ont testé cette technologie en interne.

Les employés de Cisco Systems sont particulièrement vigilants sur un problème : savoir si les intrus tireront parti de l'IA pour trouver des voies de brèche dans leurs logiciels de périphériques réseau déployés à l'échelle mondiale — ces périphériques comprennent les routeurs, les pare-feu et les modems. Anthony Grieco, directeur de la sécurité et de la confiance de la société, a exprimé des inquiétudes spécifiques quant au fait que l'IA pourrait accélérer les attaques de pirates informatiques sur les appareils "en fin de vie" qui ne recevront plus de mises à jour de support de Cisco.

Cependant, le correctif des vulnérabilités découvertes par l'IA restera un défi persistant. Ce processus, connu sous le nom de « correctif de sécurité », est souvent coûteux et long pour les organisations, ce qui conduit beaucoup d'entre elles à ignorer les vulnérabilités. Des attaques catastrophiques comme celle subie par Equifax — où environ 147 millions de données ont été volées — ont eu lieu parce que les vulnérabilités connues n'ont pas été corrigées rapidement.

Dans l'incident de violation de données d'Equifax, des intrus ont volé environ 147 millions de dossiers personnels de personnes. (Source image : Elijah Nouvelage / Bloomberg)

Bien qu'elle ait été identifiée par l'administration Trump comme une "menace pour la chaîne d'approvisionnement" après avoir refusé d'aider à mener une surveillance à grande échelle sur les citoyens américains, Anthropic s'engage actuellement dans des discussions et des collaborations avec des agences fédérales.

Les États-Unis Le département du Trésor demande l'autorisation d'utiliser Mythos cette semaine. Le secrétaire au Trésor Scott Bessent a déclaré que ce modèle aidera les États-Unis à conserver leur avantage concurrentiel dans le domaine de l'intelligence artificielle.

Scott Bessent Source de l'image : Matt McClain / Bloomberg

Dans un test, Mythos a écrit un morceau de code d'attaque de navigateur qui enchaînait quatre vulnérabilités différentes dans une chaîne d'exploitation complète – une tâche qui est très difficile même pour les pirates humains. Un rapport de recherche sur la cybersécurité a noté qu'une telle « chaîne de vulnérabilité » viole souvent les frontières du système initialement sécurisé, similaire à l'approche utilisée lors de l'attaque Stuxnet contre les centrifugeuses de l'installation nucléaire iranienne il y a des années.

De plus, selon Anthropic, lorsque cela est explicitement indiqué, Mythos peut même identifier et exploiter les "vulnérabilités zero day" dans tous les navigateurs grand public.

Anthropic a déclaré avoir utilisé Mythos pour découvrir des vulnérabilités dans le code Linux. Jim Zemlin a souligné que Linux "alimente la plupart des systèmes informatiques aujourd'hui", des smartphones Android et des routeurs internet aux superordinateurs de la NASA, et est presque omniprésent. Mythos peut découvrir de manière autonome des failles dans plusieurs bases de code open-source, et une fois ces vulnérabilités exploitées, les attaquants peuvent potentiellement prendre le contrôle total de la machine.

Actuellement, des dizaines de membres du personnel de la Linux Foundation ont commencé à tester Mythos. Zemlin pense qu'une question clé est de savoir si le modèle d'Anthropic peut fournir des informations précieuses pour aider les développeurs à écrire des logiciels plus sécurisés dès le départ, réduisant ainsi la création de vulnérabilités.

« Nous sommes très doués pour trouver des vulnérabilités », a-t-il dit, « mais nous ne sommes pas très doués pour les corriger ».

[Article original Lien]