Клод Код перевершив КодБаді в 17 з 28 моделей

У бенчмарку AI-кодингового агента Tencent Клод Код від Anthropic перевершив КодБаді в 17 з 28 моделей. У кодовій області всі 7 моделей отримали вищі бали, коли їх виконували за допомогою Клод Код. Tencent YouTube Lab, Kin Security Lab, Windy Security Lab та WorkBuddy оприлюднили бенчмарк WorkBuddy, що складається з 260 завдань. Завдання поділяються на 80 кодових, 70 веб-завдань, 50 офісних і 60 безпекових. Harnis є агентом, який відповідає за управління контекстом, виклики інструментів і виконання завдань поза моделлю. За результатами оцінювання, в веб- і офісних областях КодБаді випередив Клод Код з рахунком 4:3, тоді як у безпековій області Клод Код показав перевагу з рахунком 4:3. Оцінки GLM-5.2 для вебу становили 67.43 та 60.71, а оцінки безпеки GPT-5.5 – 77.91 та 64.39. Лідерська таблиця зафіксована на КодБаді 2.109.3 та Клод Код 2.1.187, а кожен бал розраховано як середнє з трьох виконань у режимі think. Ці результати показують, що при оцінці AI-кодингових інструментів також слід враховувати структуру виконання та способи контролю інструментів. Однак кількість завдань була обмежена до 50-80 в кожній області, і BlockBits висловив думку, що додаткові проблеми можуть змінити рейтинг. Бенчмарк WorkBuddy надається через відкриті репозиторії та набори даних Hugging Face.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.