Google DeepMind lanza XYEval para evaluar la conformidad de los agentes ante consejos engañosos

Los investigadores de Google DeepMind han publicado un artículo preprint titulado "XYEval: Agents say yes to bad advice", presentando un marco de meta-evaluación llamado XYEval, diseñado para evaluar el rendimiento de los agentes frente a consejos engañosos de los usuarios. El artículo amplía el "problema XY", donde el usuario pregunta sobre la solución X que ha intentado, en lugar del verdadero problema Y. XYEval, manteniendo el entorno de la tarea original y las respuestas verificables, añade sugerencias de usuarios que parecen razonables pero son engañosas. Estas sugerencias engañosas son generadas por un generador tras observar la tarea completa y se presentan como recomendaciones confiadas, permitiendo que la tarea original siga siendo resoluble. La evaluación abarca seis benchmarks: τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam y MCP-Atlas, así como cinco modelos, donde las sugerencias engañosas de τ2-bench son generadas a partir de reglas establecidas por expertos humanos. El artículo señala que el rendimiento disminuye drásticamente tras la mutación XY, con una caída máxima del 46.7%. En τ2-bench, el rendimiento disminuye aún más cuando los usuarios requieren una explicación detallada antes de aceptar una mejor solución. Se alienta a los modelos a darse cuenta de que las simples instrucciones del sistema sobre el problema XY solo pueden mitigar parcialmente el problema. El código relacionado ya ha sido publicado en el repositorio de GitHub google-deepmind/xyeval.