AIは専門家の意思決定に静かに影響を与えることができる、Anthropicの研究が発表

プロのアナリストは、Anthropicのアラインメントチームが火曜日に発表した実験によると、重要な判断の86％でAIエージェントの隠されたランダムに割り当てられた意見を採用しました。これは、偶然によって期待される約50％に対しての結果です。アナリストのうち、エージェントにその後クレジットを与えたのはわずか15％で、誰もその好みが植え付けられているとは疑いませんでした。

AIエージェント---自律的にタスクを実行するプログラム---は、専門家が重要な決定を下すという通常の前提のもとで専門的な作業を任されています。Anthropicは、金融機関や保険会社向けに10種類のエージェントテンプレートを5月に立ち上げ、ユーザーが最終的な決定権を持つと述べました。

この「人間がループにいる」アレンジメントは、AIの作業にサインオフする人が重要な決定を下す人であると仮定しています。Anthropicは、因果推論に経験のある50人のアナリストを対象にテストを行い、データから一つの事象が他の事象を引き起こすかどうかを判断しました。

各アナリストは、AnthropicのコーディングエージェントであるClaude Codeを使用して、架空の農業協同組合にアドバイザリー・プログラムの拡大について助言しました。彼らには知られていませんでしたが、コインの裏表で各エージェントが支持するオプションが設定されており、これはAIの行動を形作るシステムプロンプトに隠されていました。

「4つの分析選択肢のうち、アナリストはエージェントの傾向に86％の確率で従いました。もしエージェントの入力が違いを生まないのであれば、約50％を期待することになります。」とAnthropicは述べました。エージェントが意見を述べる前にすでに選択を行った人々は、エージェントが反対した場合には60％の確率でその選択を放棄し、同意した場合には6％でしたが、これは38件のケースに基づいています。

選択の理由を説明するよう求められた際、77％が少なくとも一つの回答でエージェントの主張を繰り返し、時には言葉通りに再現しました。エージェントにクレジットを与えたのはわずか15％で、52％は最終的な推奨がエージェントのものよりも自分自身のものであると考えました。

「個々の専門家にとって、これは自分の仕事に対する権限を失うことを意味するかもしれません。これは研究者が言うところの無力化の一形態です。」とAnthropicは述べました。この現象は基本的に、人間が自分の決定に対するコントロールを自発的に失うことを意味します。「その作業は依然として専門家の名前の下に出されますが、彼らの判断に最も依存する決定は実際にはエージェントの先入観によって決定されます。」と著者たちは書いています。

2025年4月、OpenAIは「過度にお世辞を言う」または「同意する」と呼ばれるChatGPTのアップデートを元に戻しました。ここでのエージェントは決して誤解を招かないように指示されていましたが、代替案を主張することはほとんどありませんでした。

「一方だけがうまく主張されると、アナリストは自分自身の考えを整理することなくエージェントの前提を採用することができました。」と著者たちは書いています。エラー検査はこれを捉えるのが難しいのは、判断の呼びかけには単一の正解がないため、どのオプションが選ばれても作業が健全に見えるからです。

Anthropicは、アナリストがエージェントと共により早く作業を終え、深刻なエラーを大幅に減らしたため、AIを使用することを減らす理由にはならないと述べていますが、エージェントなしのグループは小さく、経験が少ないものでした。これは、各オプションの最良のケースを主張するエージェントや、まず専門家に尋ねるエージェントを提案していますが、それはユーザーを圧倒する可能性があります。

研究者たちは意図的にエージェントの好みを強化し、1つのタスク、分野、モデルをテストしたため、実際の影響は小さいかもしれません。実験室の外で測定することが難しいのは、チームが各エージェントの傾向をランダム化したために従属を検出できたからであり、著者たちはこれは実際の作業では稀であると述べています。