Vitalik Buterin identifie une compétence où l’humain garde l’avantage sur l’IA

Vitalik Buterin pointe une limite de l'IA : malgré ses connaissances étendues, elle peine à évaluer la profondeur d'un texte, surtout lorsqu'elle le découvre pour la première fois. Pour le cofondateur d'Ethereum, cette différence entre savoir et sagesse mérite une attention particulière.

En bref

• Le 29 octobre, Vitalik Buterin décrit l'IA comme << extrêmement savante >>, mais << pas très sage >>, notamment lorsqu'elle évalue un texte.
• Selon lui, les modèles rencontrent davantage de difficultés face à un écrit inédit, qui ne bénéficie pas des commentaires humains présents dans leurs données d'entraînement.
• Il souligne enfin une différence essentielle : on peut facilement vérifier les connaissances d'un modèle, mais beaucoup plus difficilement mesurer sa sagesse.

L'IA connaît les références, mais comprend-elle les idées ?

Vitalik Buterin exprime régulièrement ses réserves sur les agents IA, comme en octobre avec son << mode paranoïaque >>. Le 29 octobre à 4 h 11 UTC, il a publié une nouvelle réflexion en réponse à l'écrivaine Ruxandra Teslo.

La discussion faisait suite à un article du Wall Street Journal sur Humanities 10, un cours de première année à Harvard qui interdit aux étudiants d'utiliser téléphones et ordinateurs pendant un an.

Dans son message sur X, Vitalik explique que l'IA peut mobiliser des connaissances sur presque n'importe quel sujet, sans pour autant faire preuve d'un jugement approfondi. Elle risque alors de s'arrêter aux aspects les plus superficiels d'un texte, sans saisir pleinement la portée de son argumentation.

Cette remarque intervient dans un débat sur la qualité des échanges avec les chatbots. Certains les considèrent comme de meilleurs interlocuteurs que la plupart des humains pour discuter des grands classiques. À l'inverse, une écrivaine estime que leurs commentaires sur ses essais se résument souvent à des réponses creuses.

La première lecture

Pour Vitalik Buterin, cette limite apparaît surtout lorsque le modèle découvre un texte pour la première fois. En effet, un ouvrage célèbre bénéficie de décennies de critiques, d'analyses et de commentaires que l'IA peut retrouver dans ses données d'entraînement. Un essai récent, en revanche, ne dispose pas du même historique.

Le modèle doit donc s'appuyer davantage sur le texte lui-même, sans pouvoir mobiliser autant d'analyses préexistantes. Cette différence compte notamment dans la crypto, où les équipes utilisent des agents IA pour examiner des livres blancs, des audits ou des propositions de gouvernance.

Or, certains développeurs alertent déjà sur les failles que l'IA pourrait exploiter sans en comprendre pleinement les implications. Dans ces conditions, les résumés produits par un modèle ne devraient pas remplacer une vérification humaine, surtout lorsque les enjeux techniques ou financiers sont importants.

La sagesse, une qualité difficile à mesurer

Vitalik Buterin soulève enfin un problème plus subtil : les connaissances d'un modèle se vérifient assez facilement, contrairement à sa sagesse. On peut contrôler une date, une référence ou un chiffre. En revanche, juger la pertinence d'un raisonnement exige davantage qu'une simple vérification factuelle.

Un épisode de juillet illustre cette distinction. Un concours organisé autour de l'identification de l'auteur d'un document Ethereum anonyme a récompensé, le 6 juillet, l'équipe de Franklyn Wang, de Co-Invest. Après l'examen de 27 textes, celle-ci a obtenu un résultat associé à une probabilité d'environ 20 %.

Cette expérience rappelle que l'intelligence artificielle peut reconnaître des caractéristiques stylistiques sans nécessairement saisir les idées qui se cachent derrière un texte. La même prudence s'impose lorsqu'elle analyse du code ou des documents techniques : identifier des motifs ne signifie pas toujours comprendre les intentions de leur auteur.