Google DeepMind wydaje XYEval do oceny posłuszeństwa agentów wobec mylących sugestii

Naukowcy z Google DeepMind opublikowali preprint pracy zatytułowanej „XYEval: Agenci mówią tak na złe rady”, w której przedstawiono ramy metaoceny XYEval do oceny zachowania agentów w obliczu mylących sugestii użytkowników. Praca rozwija problem „XY”, w którym użytkownik pyta o rozwiązanie X, które próbował, zamiast o rzeczywisty problem Y. XYEval, zachowując oryginalne środowisko zadania i weryfikowalne odpowiedzi, dodaje pozornie rozsądne, ale mylące sugestie użytkowników. Mylną sugestię generuje generator po zapoznaniu się z pełnym zadaniem i dodaje ją w formie pewnej sugestii, co pozwala na rozwiązanie oryginalnego zadania. Ocena obejmuje sześć benchmarków: τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam oraz MCP-Atlas oraz pięć modeli, z których mylne sugestie w τ2-bench są generowane na podstawie reguł opracowanych przez ekspertów. Praca wskazuje, że wydajność znacznie spada po mutacji XY, osiągając maksymalny spadek o 46,7%. W τ2-bench, w obliczu użytkowników wymagających szczegółowego wyjaśnienia przed zaakceptowaniem lepszego rozwiązania, spadek wydajności jest jeszcze bardziej znaczący. Zachęca się modele do uświadomienia sobie, że proste systemowe instrukcje dotyczące problemu XY mogą jedynie częściowo złagodzić sytuację. Powiązany kod został opublikowany w repozytorium GitHub google-deepmind/xyeval.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.