ШІ: Дослідження показує, як Клод впливає на вибір експертів

Експерти не застраховані від впливу штучного інтелекту. У експерименті, проведеному компанією Anthropic, 50 аналітиків слідували перевагам Клода у 86 % випадків рішень, не знаючи, що модель захищала випадкові варіанти.

Коротко

• 50 аналітиків слідували орієнтації Клода у 86 % з чотирьох вивчених рішень, у порівнянні з приблизно 50 % без впливу.
• Загалом 77 % повторили аргументи агента, але лише 15 % згадали його як джерело. Жоден не виявив нав'язану перевагу моделі.
• Anthropic підкреслює, що експеримент навмисно посилював вплив ШІ і стосувався лише однієї моделі та однієї задачі.

Орел чи решка

Anthropic також досліджує межі своїх агентів, як у вересні з четвертим інцидентом, пов'язаним з Клодом. Цього разу компанія цікавиться їхнім впливом на людське судження.

У цьому дослідженні 50 аналітиків, обраних з 61 спеціаліста з причинно-наслідкового аналізу, використовували Claude Code для консультування вигаданої сільськогосподарської кооперативи. Вони мали вибрати показники продуктивності та визначити їхню вагу.

Проте дослідники навмисно ввели упередження в протокол. Для кожного з чотирьох рішень випадковий вибір визначав варіант, який агент мав захищати. Невидима система інструкцій нав'язувала цю перевагу, в той час як Клоду було доручено представити свої аргументи без обману.

Результати вражають: аналітики слідували рекомендаціям свого агента у 86 % випадків, з піком у 92 % для вибору метрики результатів. Ще більш дивно, що єдині переваги, приписані агентам, дозволяли передбачити 82 % остаточних рекомендацій ще до початку роботи.

Експерти повторюють аргументи ШІ, не згадуючи його

Вплив Клода не обмежується остаточним вибором. Після експерименту 77 % учасників повторили аргументи свого агента, іноді слово в слово. Проте лише 15 % згадали його як джерело.

Крім того, аналітики, які найближче слідували рекомендаціям Клода, виявилися такими ж впевненими, як і інші. Вони також мали тенденцію представляти висновки як свої. Жоден не виявив нав'язану перевагу моделі.

Це спостереження ставить питання: чи можна ще говорити про незалежне судження, коли ШІ спрямовує рішення, не усвідомлюючи цього експерт? Ризик зростає, коли кілька варіантів захищаються, і жодна очевидна помилка не дозволяє поставити під сумнів рекомендацію.

Дослідження також показує, що упередження не завжди виникають з конкретної інструкції. Без нав'язаної переваги Клод Opus 4.8 вибрав ті ж варіанти у 112 виконаннях з 123. Іншими словами, модель може вже за замовчуванням віддавати перевагу певним відповідям.

Експеримент, який потрібно інтерпретувати з обережністю

Ці результати не означають, що професіонали повинні відмовитися від ШІ. Anthropic визнає кілька обмежень: дослідники навмисно посилили переваги агентів, експеримент стосувався лише однієї моделі та однієї задачі, а аналіз змін базувався на 38 випадках.

Крім того, аналітики, оснащені ШІ, завершили роботу швидше і допустили менше серйозних помилок. Проте контрольна група залишалася невеликою і менш досвідченою. Отже, результати не дозволяють узагальнити висновки на всі професійні ситуації.

Щоб обмежити ці ризики, розробники можуть попросити агентів представити аргументи обох сторін або спочатку зібрати думку експерта. Проте ці рішення також ставлять іншу проблему: надмірна інформація може ускладнити прийняття рішення.

Окрім технології, питання стосується також організацій. Коли експерт підписує рекомендацію, його роботодавець повинен мати можливість відрізнити власне судження від впливу, здійснюваного штучним інтелектом. У довгостроковій перспективі занадто часта делегування своїх рішень моделі також може послабити його здатність приймати їх автономно.