ИИ: Исследование показывает, как Клод влияет на выбор экспертов

Эксперты не застрахованы от влияния искусственного интеллекта. В эксперименте, проведенном компанией Anthropic, 50 аналитиков следовали предпочтениям Клода в 86 % изученных решений, не зная, что модель защищала случайно выбранные варианты.

Кратко

• 50 аналитиков следовали указаниям Клода в 86 % из четырех изученных решений, против примерно 50 % в отсутствие влияния.
• В общей сложности 77 % повторили аргументы агента, но только 15 % указали его как источник. Никто не заметил навязанное предпочтение модели.
• Тем не менее, Anthropic подчеркивает, что эксперимент намеренно усиливал влияние ИИ и касался только одной модели и одной задачи.

Орел или решка

Anthropic также исследует пределы своих агентов, как это было в сентябре с четвертым инцидентом, связанным с Клодом. На этот раз компания интересуется их влиянием на человеческое суждение.

В этом исследовании 50 аналитиков, отобранных из 61 специалиста по причинно-следственному анализу, использовали Claude Code для консультирования вымышленной сельскохозяйственной кооперативы. Им нужно было выбрать показатели продуктивности и определить их вес.

Однако исследователи ввели предвзятость в протокол. Для каждого из четырех решений случайный выбор определял вариант, который агент должен был защищать. Невидимая системная инструкция навязывала это предпочтение, при этом требуя от Клода представить свои аргументы без лжи.

Результаты поразительны: аналитики следовали рекомендации своего агента в 86 % случаев, с пиком в 92 % для выбора меры результатов. Более того, единственные предпочтения, приписанные агентам, позволяли предсказать 82 % окончательных рекомендаций еще до начала работы.

Эксперты повторяют аргументы ИИ, не указывая на него

Влияние Клода не ограничивается окончательным выбором. После эксперимента 77 % участников повторили аргументы своего агента, иногда дословно. Тем не менее, только 15 % упомянули его как источник.

Кроме того, аналитики, которые наиболее тщательно следовали рекомендациям Клода, были так же уверены, как и другие. Они также склонны были представлять выводы как свои собственные. Никто не обнаружил навязанное предпочтение модели.

Это наблюдение поднимает вопрос: можно ли говорить о независимом суждении, когда ИИ направляет решение, не осознаваемое экспертом? Риск возрастает, когда несколько вариантов защищаются, и ни одна очевидная ошибка не позволяет оспорить рекомендацию.

Исследование также показывает, что предвзятости не всегда возникают из-за конкретной инструкции. Без навязанного предпочтения Клод Опус 4.8 выбрал одни и те же варианты в 112 из 123 выполнений. Иными словами, модель может уже по умолчанию предпочитать определенные ответы.

Эксперимент, который следует интерпретировать с осторожностью

Эти результаты не означают, что профессионалы должны отказаться от ИИ. Anthropic признает несколько ограничений: исследователи намеренно усилили предпочтения агентов, эксперимент касался только одной модели и одной задачи, а анализ изменений основывался на 38 случаях.

Кроме того, аналитики, использующие ИИ, завершили работу быстрее и допустили меньше серьезных ошибок. Тем не менее, контрольная группа оставалась небольшой и менее опытной. Таким образом, результаты не позволяют обобщить выводы на все профессиональные ситуации.

Чтобы ограничить эти риски, разработчики могут попросить агентов представить аргументы обеих сторон или сначала собрать мнение эксперта. Тем не менее, эти решения поднимают другую трудность: слишком много информации может усложнить процесс принятия решений.

Помимо технологии, проблема также касается организаций. Когда эксперт подписывает рекомендацию, его работодатель должен иметь возможность отличить его собственное суждение от влияния, оказываемого искусственным интеллектом. В конечном итоге слишком частая делегирование своих решений модели также может ослабить его способность принимать их самостоятельно.