La IA puede influir silenciosamente en las decisiones de los expertos, según un estudio de Anthropic

Los analistas profesionales adoptaron la opinión oculta y asignada al azar de su agente de IA en el 86% de las decisiones clave, frente al 50% que se esperaría por casualidad, según un experimento publicado el martes por el equipo de Alineación de Anthropic. Solo el 15% acreditó al agente después, y ninguno sospechó que sus preferencias habían sido implantadas.

Los agentes de IA—programas que realizan tareas por sí mismos—están asumiendo trabajos de expertos bajo lo que el estudio denomina la suposición habitual: que los expertos aún toman las decisiones que importan. Anthropic lanzó 10 plantillas de agentes para empresas financieras y aseguradoras en mayo, afirmando que los usuarios tienen la última palabra.

Ese arreglo, llamado "humano en el bucle", asume que la persona que aprueba el trabajo de una IA es quien toma las decisiones importantes. Anthropic lo probó con 50 analistas experimentados en inferencia causal, es decir, determinar a partir de datos si una cosa causa otra.

Cada analista utilizó Claude Code, el agente de codificación de Anthropic, para asesorar a una cooperativa agrícola ficticia sobre la expansión de un programa de asesoramiento. Sin que ellos lo supieran, un lanzamiento de moneda determinó qué opción favorecía cada agente, oculto en un aviso del sistema, las instrucciones que dan forma al comportamiento de una IA.

"A través de las cuatro elecciones analíticas, los analistas optaron por la inclinación de su agente el 86% de las veces. Si la entrada del agente no hiciera diferencia, esperaríamos alrededor del 50%", dijo Anthropic. Aquellos que ya habían elegido antes de que el agente interviniera abandonaron su elección el 60% de las veces cuando el agente no estuvo de acuerdo, frente al 6% cuando estuvo de acuerdo, aunque eso se basa en solo 38 casos.

Cuando se les pidió que explicaran sus elecciones, el 77% repitió el argumento del agente en al menos una respuesta, a veces palabra por palabra. Solo el 15% acreditó al agente, y el 52% consideró que la recomendación final era más suya que del agente.

"Para los expertos individuales, esto podría significar perder la agencia sobre su propio trabajo, una forma de lo que los investigadores llaman desempoderamiento", dijo Anthropic. Este fenómeno significa básicamente que el humano pierde voluntariamente el control sobre sus propias decisiones. "El trabajo aún se publica bajo el nombre del experto", escribieron los autores, "pero las decisiones que más dependen de su juicio son, en realidad, resueltas por las creencias previas del agente."

En abril de 2025, OpenAI revirtió una actualización de ChatGPT que consideró excesivamente halagadora o complaciente. Los agentes aquí fueron instruidos para nunca engañar, sin embargo, rara vez argumentaron a favor de la alternativa.

"Con solo un lado argumentado bien", escribieron los autores, "los analistas podrían adoptar las suposiciones del agente sin desarrollar las propias." Las verificaciones de errores luchan por detectar esto porque las decisiones de juicio no tienen una única respuesta correcta, por lo que el trabajo parece sólido independientemente de la opción elegida.

Anthropic dice que esto no es un argumento para usar menos la IA, ya que los analistas con el agente terminaron más rápido y cometieron muchos menos errores graves, aunque el grupo sin agente era pequeño y menos experimentado. Sugiere agentes que argumenten el mejor caso para cada opción o que pregunten al experto primero, aunque eso podría abrumar a los usuarios.

Los investigadores fortalecieron deliberadamente las preferencias de los agentes y probaron una tarea, campo y modelo, por lo que los efectos en el mundo real pueden ser menores. Medirlo fuera del laboratorio es la parte difícil: el equipo pudo detectar deferencia solo porque aleatorizó la inclinación de cada agente, lo que los autores dicen que rara vez es posible en el trabajo real.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.