Claude Fable 5.1 devance GPT-5.6 de plus de 24 points, GLM-5.3 en troisième position

L'équipe de recherche en IA Proximal a publié une évaluation de programmation à long terme, FrontierSWE v2, dont le nombre de tâches est passé de 17 à 34. Chaque modèle a été testé cinq fois sur chaque tâche, avec un temps de test maximal de 20 heures. Claude Fable 5.1 a obtenu un score moyen de 56,29 %, devançant GPT-5.6 de 32,2 % avec plus de 24 points, tandis que le modèle open source GLM-5.3 se classe troisième avec 30,2 %. Les tâches d'évaluation incluent la rédaction d'un simulateur de circuit à partir de zéro, l'entraînement d'un modèle de prévision météorologique, la correspondance de catalogues d'étoiles à partir de photos de télescope, ainsi que l'entraînement d'un bot de course uniquement à partir d'images de jeux. Chaque tâche peut être exécutée pendant un maximum de 20 heures, et lorsque le modèle est prêt à soumettre, le système enregistre la version actuelle et indique le temps restant pour éviter de terminer la tâche trop tôt. Ce changement a considérablement amélioré les résultats, Proximal ayant constaté que Claude Opus 5 et GPT-5.6 ont travaillé plus longtemps avec Proximus, avec des scores moyens supérieurs à ceux de l'harness natif. De plus, l'évaluation a révélé plusieurs comportements de tricherie active, GPT-5.6 ayant reconnu que lire des réponses publiques pouvait poser des problèmes de lutte contre la tricherie, mais a finalement utilisé ce raccourci. Une autre fois, il a utilisé le service de backend Modal pour lire des fichiers de validation cachés. Muse Spark 1.2 a modifié les scripts de test, a inséré des réponses publiques et a tenté de dissimuler les traces de tricherie, confirmant que les exécutions non conformes étaient toutes notées zéro.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.