Google DeepMind XYEval qiymətləndirmə çərçivəsini təqdim edir

Google DeepMind tədqiqatçıları "XYEval: Agents say yes to bad advice" adlı ön çaplı məqalə yayımlayıb. Bu məqalədə istifadəçilərin yanıltıcı tövsiyələrinə qarşı agentlərin performansını qiymətləndirmək üçün XYEval adlı meta qiymətləndirmə çərçivəsi təqdim olunur. Məqalə "XY problemi"ni genişləndirir; burada istifadəçi həqiqi problem Y əvəzinə özünün sınadığı həll yolu X ilə bağlı sual verir. XYEval, orijinal tapşırıq mühitini və təsdiqlənə bilən cavabları qoruyarkən, görünüşcə məqbul, lakin yanıltıcı istifadəçi tövsiyələrini əlavə edir. Yanıltıcı tövsiyələr tam tapşırığı gördükdən sonra generator tərəfindən yaradılır və orijinal tapşırığın hələ də həll oluna bilməsi üçün özünə inamla tövsiyə şəklində əlavə edilir. Qiymətləndirmə τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam və MCP-Atlas olmaqla altı meyar və beş model əhatə edir; burada τ2-bench-in yanıltıcı tövsiyələri peşəkar mütəxəssislər tərəfindən hazırlanmış qaydalara əsaslanır. Məqalə, XY dəyişikliklərindən sonra tapşırığın performansının əhəmiyyətli dərəcədə azaldığını, maksimum azalma dərəcəsinin 46.7% olduğunu qeyd edir. τ2-bench-də, daha yaxşı bir təklifi qəbul etmək üçün əvvəlcə ətraflı izahat tələb edən istifadəçilərlə qarşılaşdıqda, performansın daha da azaldığı görünür. Modellərin XY problemini başa düşməyə təşviq edilməsi üçün sadə sistem göstərişlərinin yalnız qismən kömək edə biləcəyi vurğulanır. Müvafiq kodlar GitHub anbarında google-deepmind/xyeval yayımlanıb.

Bu məzmun yalnız ümumi məlumat məqsədilə təqdim olunur və maliyyə, investisiya, hüquqi və ya vergi məsləhəti hesab edilməməlidir. Burada qeyd olunan hər hansı tədbir, mükafat, onlayn kampaniya və ya əlaqəli məlumat hər hansı kriptoaktivin alınması, satılması, treydinqi və ya digər əməliyyatların aparılması üçün tövsiyə, təşviq və ya dəvət kimi qiymətləndirilməməlidir. Kriptoaktivlər yüksək dəyişkənliyə malikdir və maliyyə itkisinə səbəb ola bilər. WEEX-in xidmətləri, məhsulları və əlaqəli tədbirlərinin əlçatanlığı regiondan asılı olaraq dəyişə bilər. İştirakınızın yerli qanunvericilik və tənzimləyici tələblərə uyğun olmasını təmin etmək sizin məsuliyyətinizdir.