Google DeepMind rilascia XYEval per valutare la conformità degli agenti ai consigli fuorvianti

I ricercatori di Google DeepMind hanno pubblicato un articolo preprint intitolato "XYEval: Agents say yes to bad advice", proponendo un framework di meta-valutazione chiamato XYEval, per valutare le prestazioni degli agenti di fronte ai consigli fuorvianti degli utenti. L'articolo amplia il "problema XY", in cui l'utente chiede una soluzione X che ha provato, piuttosto che il vero problema Y. XYEval, mantenendo l'ambiente del compito originale e le risposte verificabili, aggiunge suggerimenti utente che sembrano ragionevoli ma sono fuorvianti. I suggerimenti fuorvianti sono generati da un generatore dopo aver visto l'intero compito e sono presentati come suggerimenti sicuri, rendendo il compito originale ancora risolvibile. La valutazione copre sei benchmark: τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam e MCP-Atlas, e cinque modelli, con i suggerimenti fuorvianti di τ2-bench generati secondo regole stabilite da esperti umani. L'articolo sottolinea che le prestazioni diminuiscono drasticamente dopo la mutazione XY, con un calo massimo del 46,7%. Su τ2-bench, le prestazioni calano ulteriormente quando gli utenti richiedono una spiegazione dettagliata prima di accettare una soluzione migliore. I modelli sono incoraggiati a riconoscere che semplici istruzioni di sistema riguardanti il problema XY possono solo alleviare parzialmente la situazione. Il codice correlato è stato pubblicato nel repository GitHub google-deepmind/xyeval.

Questo contenuto è fornito a solo scopo informativo generale e non costituisce consulenza finanziaria, di investimento, legale o fiscale. Qualsiasi evento, ricompensa, promozione online o informazione correlata menzionata nel presente documento non deve essere considerata una raccomandazione, una sollecitazione o un invito ad acquistare, vendere, fare trading o altrimenti negoziare criptovalute. Le criptovalute sono altamente volatili e possono comportare perdite. La disponibilità dei servizi, dei prodotti e degli eventi correlati di WEEX può variare a seconda della regione. È tua responsabilità assicurarti che la tua partecipazione sia conforme alle leggi e ai regolamenti locali applicabili.