Google DeepMind lanza XYEval para evaluar la conformidad de agentes a consejos engañosos

Los investigadores de Google DeepMind han publicado un artículo preprint titulado "XYEval: Agents say yes to bad advice", en el que proponen un marco de meta-evaluación llamado XYEval, destinado a evaluar el desempeño de los agentes frente a consejos engañosos de los usuarios. El artículo amplía el "problema XY", que se refiere a cuando los usuarios preguntan sobre la solución X que han intentado, en lugar del verdadero problema Y. XYEval, manteniendo el entorno de tarea original y las respuestas verificables, añade sugerencias de usuario que parecen razonables pero son engañosas. Estas sugerencias engañosas son generadas por un generador tras observar la tarea completa y se presentan como recomendaciones confiadas, permitiendo que la tarea original siga siendo resoluble. La evaluación abarca seis benchmarks: τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam y MCP-Atlas, así como cinco modelos, donde las sugerencias engañosas de τ2-bench son generadas según reglas establecidas por expertos humanos. El artículo señala que el rendimiento disminuye drásticamente tras la mutación XY, con una caída máxima del 46.7%. En τ2-bench, el rendimiento disminuye aún más cuando los usuarios exigen una explicación detallada antes de aceptar una mejor solución. Se alienta a los modelos a reconocer que las simples instrucciones del sistema sobre el problema XY solo pueden mitigar parcialmente el problema. El código relacionado ya ha sido publicado en el repositorio de GitHub google-deepmind/xyeval.