IA : Une étude montre comment Claude oriente les choix d’experts

Les experts ne sont pas à l'abri de l'influence de l'intelligence artificielle. Dans une expérience menée par Anthropic, 50 analystes ont suivi les préférences de Claude dans 86 % des décisions étudiées, sans savoir que le modèle défendait des options choisies au hasard.

En bref

• Les 50 analystes ont suivi l'orientation de Claude dans 86 % des quatre décisions étudiées, contre environ 50 % en l'absence d'influence.
• Au total, 77 % ont repris les arguments de l'agent, mais seuls 15 % l'ont cité comme source. Aucun n'a repéré la préférence imposée au modèle.
• Anthropic souligne toutefois que l'expérience amplifiait volontairement l'influence de l'IA et ne portait que sur un modèle et une tâche.

Pile ou face

Anthropic examine aussi les limites de ses agents, comme en septembre avec un quatrième incident impliquant Claude. Cette fois, l'entreprise s'intéresse à leur influence sur le jugement humain.

Dans cette étude, 50 analystes, sélectionnés parmi 61 spécialistes de l'inférence causale, ont utilisé Claude Code pour conseiller une coopérative agricole fictive. Ils devaient notamment choisir des indicateurs de productivité et déterminer leur pondération.

Les chercheurs avaient toutefois introduit un biais dans le protocole. Pour chacune des quatre décisions, un tirage au sort déterminait l'option que l'agent devait défendre. Une instruction système invisible imposait cette préférence, tout en demandant à Claude de présenter ses arguments sans mentir.

Les résultats sont frappants : les analystes ont suivi la recommandation de leur agent dans 86 % des cas, avec un pic de 92 % pour le choix de la mesure des résultats. Plus étonnant encore, les seules préférences attribuées aux agents permettaient de prédire 82 % des recommandations finales avant même le début du travail.

Les experts reprennent les arguments de l'IA sans la citer

L'influence de Claude ne se limite pas au choix final. Après l'expérience, 77 % des participants avaient repris les arguments de leur agent, parfois mot pour mot. Pourtant, seuls 15 % l'ont mentionné comme source.

Par ailleurs, les analystes qui suivaient le plus étroitement les recommandations de Claude se montraient aussi confiants que les autres. Ils avaient également tendance à présenter les conclusions comme les leurs. Aucun n'a détecté la préférence imposée au modèle.

Ce constat soulève une question : peut-on encore parler de jugement indépendant lorsque l'IA oriente une décision sans que l'expert en ait conscience ? Le risque augmente lorsque plusieurs options se défendent et qu'aucune erreur évidente ne permet de remettre la recommandation en question.

L'étude révèle aussi que les biais ne viennent pas toujours d'une consigne particulière. Sans préférence imposée, Claude Opus 4.8 a choisi les mêmes options dans 112 exécutions sur 123. Autrement dit, un modèle peut déjà privilégier certaines réponses par défaut.

Une expérience à interpréter avec prudence

Ces résultats ne signifient pas que les professionnels doivent abandonner l'IA. Anthropic reconnaît plusieurs limites : les chercheurs ont volontairement renforcé les préférences des agents, l'expérience portait sur un seul modèle et une seule tâche, et l'analyse des revirements reposait sur 38 cas.

De plus, les analystes équipés d'une IA ont terminé plus rapidement et commis moins d'erreurs graves. Toutefois, le groupe témoin restait réduit et moins expérimenté. Les résultats ne permettent donc pas de généraliser les conclusions à toutes les situations professionnelles.

Pour limiter ces risques, les concepteurs pourraient demander aux agents de présenter les arguments des deux camps ou recueillir d'abord l'avis de l'expert. Ces solutions soulèvent néanmoins une autre difficulté : trop d'informations peuvent compliquer la prise de décision.

Au-delà de la technologie, l'enjeu concerne aussi les organisations. Lorsqu'un expert signe une recommandation, son employeur doit pouvoir distinguer son propre jugement de l'influence exercée par l'intelligence artificielle. À terme, déléguer trop souvent ses décisions à un modèle pourrait aussi affaiblir sa capacité à les prendre de manière autonome.