AI可以靜靜地影響專家的決策，Anthropic研究發現

專業分析師在關鍵判斷中採納了其AI代理隱藏的隨機分配意見的86%，而根據Anthropic的Alignment團隊週二發表的實驗，這一數字預期約為50%。只有15%的人在事後承認了該代理的貢獻，且沒有人懷疑其偏好是被植入的。

AI代理——能夠自主執行任務的程序——正在被賦予專家工作，這項研究稱之為通常的假設：專家仍然做出重要的決策。Anthropic在5月推出了10個針對金融公司和保險公司的代理模板，並表示用戶擁有最終決定權。

這種安排被稱為「人類在迴路中」，假設簽署AI工作的人是做出重要決策的人。Anthropic在50名經驗豐富的因果推斷分析師中進行了測試，這意味著從數據中推斷一件事是否導致另一件事。

每位分析師使用Claude Code，Anthropic的編碼代理，為一個虛構的農業合作社提供擴展諮詢計劃的建議。對他們來說，隨機擲硬幣決定了每個代理偏好的選項，這隱藏在系統提示中，這些提示塑造了AI的行為。

「在四個分析選擇中，分析師86%的時間選擇了他們代理的傾向。如果代理的輸入沒有影響，我們預期約為50%，」Anthropic表示。那些在代理發表意見之前已經做出選擇的人，在代理不同意見時有60%的機會放棄原選擇，而在代理同意時則只有6%的機會，儘管這僅基於38個案例。

在被要求解釋他們的選擇時，77%的人在至少一個答案中重複了代理的論點，有時是逐字重複。只有15%的人承認了該代理的貢獻，52%的人認為最終建議更像是他們自己的而非代理的。

「對於個別專家來說，這可能意味著失去對自己工作的主導權，這是一種研究人員所稱的無能為力的形式，」Anthropic表示。這一現象基本上意味著人類自願放棄對自己決策的控制。「這項工作仍然以專家的名義發出，」作者寫道，「但最依賴他們判斷的決策實際上是由代理的先前信念決定的。」

在2025年4月，OpenAI撤回了一項對ChatGPT的更新，稱其過於奉承或迎合。這裡的代理被告知永遠不要誤導，但他們很少為替代方案辯護。

「只有一方被很好地辯護，」作者寫道，「分析師可以在不自己推導的情況下採納代理的假設。」錯誤檢查難以捕捉到這一點，因為判斷決策沒有單一的正確答案，因此無論選擇哪個選項，工作看起來都是合理的。

Anthropic表示，這並不是減少使用AI的理由，因為使用代理的分析師完成工作更快且嚴重錯誤更少，儘管沒有代理的組別較小且經驗較少。它建議代理應該為每個選項辯護最佳案例或先詢問專家，儘管這可能會使用戶感到不堪重負。

研究人員故意加強了代理的偏好並測試了一項任務、領域和模型，因此實際效果可能較小。在實驗室外測量這一點是困難的：該團隊能夠檢測到的服從性僅僅是因為它隨機化了每個代理的傾向，作者表示在實際工作中這種情況很少發生。