Wyniki starcia Tencent CodeBuddy z Claude Code niezadowalające

Tencent przeprowadził testy wydajności swojego narzędzia CodeBuddy Code oraz Claude Code za pomocą własnej bazy danych Agent WorkBuddy Bench. 260 rzeczywistych zadań roboczych podzielono na cztery kategorie: kodowanie, web, biuro i bezpieczeństwo, a 7 modeli testowano w dwóch zestawach Harness. Wyniki pokazują, że Claude Code wygrał w 17 z 28 porównań modeli, podczas gdy CodeBuddy wygrał tylko w 11. Szczególnie w kategorii zadań kodowania, Claude Code wygrał 7:0, a wszystkie 7 modeli uzyskało lepsze wyniki po przejściu na Claude Code. Chociaż CodeBuddy wygrał w zadaniach webowych i biurowych z wynikiem 4:3, w zadaniach dotyczących bezpieczeństwa Claude Code pokonał go 4:3. Wyniki testów pokazują, że sama zmiana zestawu Harness może prowadzić do różnicy w wynikach o kilkanaście punktów, dlatego ocena siły Agentów nie może opierać się wyłącznie na podstawowych modelach. Jednakże, lista Tencent ma swoje niedociągnięcia, ponieważ w każdej kategorii jest tylko 50 do 80 zadań, a społeczność kwestionuje, czy dodanie trudniejszych zadań zmieni ranking, a testy przeprowadzono tylko na dwóch zestawach Harness, nie uwzględniając Codexu.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.