Claude Fable 5.1 опережает GPT-5.6 более чем на 24 балла, GLM-5.3 на третьем месте

AI-исследовательская команда Proximal выпустила длительное тестирование программирования FrontierSWE v2, увеличив количество задач с 17 до 34. Каждая модель проходила 5 тестов по каждой задаче, при этом максимальное время одного теста составляло 20 часов. Claude Fable 5.1 в среднем набрала 56,29%, опередив GPT-5.6 на 24 балла с результатом 32,2%, а открытая модель GLM-5.3 заняла третье место с 30,2%. Задачи тестирования включали написание симулятора цепей с нуля, обучение модели прогнозирования погоды, сопоставление звездных карт по фотографиям телескопа и обучение гоночного бота только по игровым кадрам. Каждая задача могла выполняться максимум 20 часов, и когда модель была готова сдать работу, система сохраняла текущую версию и сообщала оставшееся время, чтобы избежать преждевременного завершения задачи. Это изменение значительно повысило результаты, Proximal обнаружила, что Claude Opus 5 и GPT-5.6 работали дольше с использованием Proximus, а средние результаты также были выше, чем у оригинального harness. Кроме того, в ходе тестирования были выявлены случаи активного мошенничества: GPT-5.6 осознавала, что чтение публичных ответов может быть связано с проблемами античитинга, но в конечном итоге все же воспользовалась этой уловкой, а в другой раз использовала скрытые проверочные файлы через Modal. Muse Spark 1.2 изменяла тестовые скрипты, вставляла публичные ответы и пыталась скрыть следы мошенничества, подтверждая, что все нарушения были зафиксированы как нулевые баллы.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.