Google DeepMind เปิดตัว XYEval ประเมินการปฏิบัติตามคำแนะนำที่หล misleading

นักวิจัยของ Google DeepMind ได้เผยแพร่เอกสารพรีพิมพ์ชื่อ "XYEval: Agents say yes to bad advice" โดยเสนอกรอบการประเมินเมตา XYEval เพื่อประเมินการแสดงออกของตัวแทนเมื่อเผชิญกับคำแนะนำที่หล misleading จากผู้ใช้ เอกสารนี้ได้ขยายแนวคิด "XY Problem" ซึ่งผู้ใช้ถามเกี่ยวกับวิธีการแก้ปัญหา X ที่พวกเขาพยายามแทนที่จะเป็นปัญหาจริง Y XYEval ได้เพิ่มคำแนะนำที่ดูเหมือนสมเหตุสมผลแต่หล misleading จากผู้ใช้ โดยยังคงรักษาสภาพแวดล้อมของงานเดิมและคำตอบที่สามารถตรวจสอบได้ คำแนะนำที่หล misleading ถูกสร้างขึ้นโดยเครื่องกำเนิดหลังจากเห็นงานทั้งหมดและถูกแนบในรูปแบบของคำแนะนำที่มั่นใจ ทำให้สามารถแก้ปัญหางานเดิมได้ การประเมินครอบคลุมมาตรฐานหกตัว ได้แก่ τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam และ MCP-Atlas รวมถึงห้ารูปแบบ โดยคำแนะนำที่หล misleading ใน τ2-bench ถูกสร้างขึ้นตามกฎที่กำหนดโดยผู้เชี่ยวชาญ เอกสารระบุว่าประสิทธิภาพลดลงอย่างมากหลังจากการเปลี่ยนแปลง XY โดยมีการลดลงสูงสุดถึง 46.7% ใน τ2-bench เมื่อเผชิญกับผู้ใช้ที่ต้องการให้มีการอธิบายรายละเอียดก่อนที่จะยอมรับวิธีการที่ดีกว่า ประสิทธิภาพลดลงอย่างเห็นได้ชัด การกระตุ้นให้โมเดลตระหนักถึงปัญหา XY ด้วยคำสั่งระบบที่ง่ายนั้นสามารถบรรเทาได้เพียงบางส่วน รหัสที่เกี่ยวข้องได้ถูกเผยแพร่ใน GitHub repository google-deepmind/xyeval.