La IA puede influir silenciosamente en las decisiones de los expertos, según un estudio de Anthropic

Los analistas profesionales adoptaron la opinión oculta y asignada al azar de su agente de IA en el 86% de las decisiones clave, frente al 50% que se esperaría por casualidad, según un experimento publicado el martes por el equipo de Alineación de Anthropic. Solo el 15% acreditó al agente después, y ninguno sospechó que sus preferencias habían sido implantadas.

Los agentes de IA—programas que realizan tareas por sí mismos—están siendo asignados a trabajos de expertos bajo lo que el estudio llama la suposición habitual: que los expertos aún toman las decisiones que importan. Anthropic lanzó 10 plantillas de agentes para empresas financieras y aseguradoras en mayo, diciendo que los usuarios tienen la última palabra.

Ese arreglo, llamado "humano en el bucle", asume que la persona que aprueba el trabajo de una IA es quien toma las decisiones importantes. Anthropic lo probó con 50 analistas experimentados en inferencia causal, es decir, deduciendo a partir de datos si una cosa causa otra.

Cada analista utilizó Claude Code, el agente de codificación de Anthropic, para asesorar a una cooperativa agrícola ficticia sobre la expansión de un programa de asesoría. Sin que ellos lo supieran, un lanzamiento de moneda determinó qué opción favorecía cada agente, oculta en un aviso del sistema, las instrucciones que moldean cómo se comporta una IA.

"A través de las cuatro opciones analíticas, los analistas optaron por la inclinación de su agente el 86% de las veces. Si la entrada del agente no hiciera diferencia, esperaríamos alrededor del 50%", dijo Anthropic. Aquellos que ya habían elegido antes de que el agente interviniera abandonaron su elección el 60% de las veces cuando el agente no estaba de acuerdo, frente al 6% cuando estaba de acuerdo, aunque eso se basa solo en 38 casos.

Al ser preguntados para explicar sus elecciones, el 77% repitió el argumento del agente en al menos una respuesta, a veces palabra por palabra. Solo el 15% acreditó al agente, y el 52% consideró que la recomendación final era más propia que del agente.

"Para los expertos individuales, esto podría significar perder la agencia sobre su propio trabajo, una forma de lo que los investigadores llaman desempoderamiento", dijo Anthropic. Este fenómeno significa básicamente que el humano pierde voluntariamente el control sobre sus propias decisiones. "El trabajo aún sale bajo el nombre del experto", escribieron los autores, "pero las decisiones que más dependen de su juicio son en realidad resueltas por las creencias previas del agente."

En abril de 2025, OpenAI revirtió una actualización de ChatGPT que llamó excesivamente halagadora o complaciente. Los agentes aquí fueron instruidos para nunca engañar, sin embargo, rara vez argumentaron a favor de la alternativa.

"Con solo un lado argumentado bien", escribieron los autores, "los analistas podrían adoptar las suposiciones del agente sin trabajar en las suyas propias." Las verificaciones de errores luchan por detectar esto porque las decisiones de juicio no tienen una única respuesta correcta, por lo que el trabajo parece sólido independientemente de la opción elegida.

Anthropic dice que esto no es un argumento para usar menos la IA, ya que los analistas con el agente terminaron más rápido y cometieron muchos menos errores graves, aunque el grupo sin agente era pequeño y menos experimentado. Sugiere agentes que argumenten el mejor caso para cada opción o que pregunten primero al experto, aunque eso podría abrumar a los usuarios.

Los investigadores deliberadamente fortalecieron las preferencias de los agentes y probaron una tarea, campo y modelo, por lo que los efectos en el mundo real pueden ser menores. Medirlo fuera del laboratorio es la parte difícil: el equipo pudo detectar deferencia solo porque aleatorizó la inclinación de cada agente, lo que los autores dicen que rara vez es posible en el trabajo real.

Este contenido se ofrece únicamente con fines informativos generales y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, tradear o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.