IA: Uno studio mostra come Claude orienta le scelte degli esperti

Gli esperti non sono immuni all'influenza dell'intelligenza artificiale. In un esperimento condotto da Anthropic, 50 analisti hanno seguito le preferenze di Claude nell'86% delle decisioni studiate, senza sapere che il modello difendeva opzioni scelte a caso.

In breve

• I 50 analisti hanno seguito l'orientamento di Claude nell'86% delle quattro decisioni studiate, contro circa il 50% in assenza di influenza.
• In totale, il 77% ha ripreso gli argomenti dell'agente, ma solo il 15% lo ha citato come fonte. Nessuno ha individuato la preferenza imposta al modello.
• Anthropic sottolinea tuttavia che l'esperimento amplificava volontariamente l'influenza dell'IA e riguardava solo un modello e un compito.

Testa o croce

Anthropic esamina anche i limiti dei suoi agenti, come a settembre con un quarto incidente che coinvolgeva Claude. Questa volta, l'azienda si interessa alla loro influenza sul giudizio umano.

In questo studio, 50 analisti, selezionati tra 61 specialisti dell'inferenza causale, hanno utilizzato Claude Code per consigliare una cooperativa agricola fittizia. Dovevano scegliere indicatori di produttività e determinare il loro peso.

Tuttavia, i ricercatori avevano introdotto un bias nel protocollo. Per ciascuna delle quattro decisioni, un sorteggio determinava l'opzione che l'agente doveva difendere. Un'istruzione di sistema invisibile imponeva questa preferenza, chiedendo a Claude di presentare i suoi argomenti senza mentire.

I risultati sono sorprendenti: gli analisti hanno seguito la raccomandazione del loro agente nell'86% dei casi, con un picco del 92% per la scelta della misura dei risultati. Ancora più sorprendente, le sole preferenze attribuite agli agenti permettevano di prevedere l'82% delle raccomandazioni finali prima ancora dell'inizio del lavoro.

Gli esperti riprendono gli argomenti dell'IA senza citarla

L'influenza di Claude non si limita alla scelta finale. Dopo l'esperimento, il 77% dei partecipanti aveva ripreso gli argomenti del loro agente, a volte parola per parola. Tuttavia, solo il 15% lo ha menzionato come fonte.

Inoltre, gli analisti che seguivano più da vicino le raccomandazioni di Claude si mostrano altrettanto fiduciosi degli altri. Tendono anche a presentare le conclusioni come proprie. Nessuno ha rilevato la preferenza imposta al modello.

Questa constatazione solleva una domanda: si può ancora parlare di giudizio indipendente quando l'IA orienta una decisione senza che l'esperto ne sia consapevole? Il rischio aumenta quando più opzioni si difendono e nessun errore evidente consente di mettere in discussione la raccomandazione.

Lo studio rivela anche che i bias non derivano sempre da un'istruzione particolare. Senza preferenza imposta, Claude Opus 4.8 ha scelto le stesse opzioni in 112 esecuzioni su 123. In altre parole, un modello può già privilegiare alcune risposte per impostazione predefinita.

Un esperimento da interpretare con cautela

Questi risultati non significano che i professionisti debbano abbandonare l'IA. Anthropic riconosce diversi limiti: i ricercatori hanno volutamente rafforzato le preferenze degli agenti, l'esperimento riguardava un solo modello e un solo compito, e l'analisi dei cambiamenti si basava su 38 casi.

Inoltre, gli analisti dotati di IA hanno completato più rapidamente e commesso meno errori gravi. Tuttavia, il gruppo di controllo rimaneva ridotto e meno esperto. I risultati non consentono quindi di generalizzare le conclusioni a tutte le situazioni professionali.

Per limitare questi rischi, i progettisti potrebbero chiedere agli agenti di presentare gli argomenti di entrambi i lati o raccogliere prima il parere dell'esperto. Queste soluzioni sollevano tuttavia un'altra difficoltà: troppe informazioni possono complicare la presa di decisione.

Oltre alla tecnologia, la questione riguarda anche le organizzazioni. Quando un esperto firma una raccomandazione, il suo datore di lavoro deve poter distinguere il proprio giudizio dall'influenza esercitata dall'intelligenza artificiale. A lungo termine, delegare troppo spesso le proprie decisioni a un modello potrebbe anche indebolire la propria capacità di prenderle in modo autonomo.