Porównanie wskaźników sukcesu i kosztów 8 zestawów Harness w teście DeepSeek V4 Flash
Firma Composio, zajmująca się infrastrukturą AI Agent, podłączyła DeepSeek V4 Flash do 8 zestawów Harness i przeprowadziła testy z użyciem tej samej partii 30 zadań Agentów, obejmujących aplikacje takie jak Gmail, GitHub, Slack, Calendar, Notion i inne. Wyniki przejścia 8 zestawów Harness to: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. Po wymianie Harness liczba zadań zakończonych sukcesem dla DeepSeek V4 Flash wzrosła z 14 do 20. W kwestii kosztów, Pi Agent kosztuje około 0,028 USD za każde udane zadanie, podczas gdy Claude Code to 0,195 USD, co daje różnicę bliską 7 razy. Jeśli chodzi o czas, mediana czasu dla Claude Code wynosi 122,7 sekundy, a najwolniejszy Oh My Pi to 272,4 sekundy. Konfiguracja testowa Pi różni się od jednolitych warunków, używając wysokiej, a nie maksymalnej intensywności wnioskowania, a w 30 zadaniach 24 korzystały z oficjalnego API DeepSeek. Composio wcześniej przeprowadziło inną rundę porównawczą Harness z użyciem Kimi K3, gdzie Oh My Pi z wynikiem 22/25 zajęło pierwsze miejsce, oryginalny Pi Agent uzyskał 18/25, a po zmianie na DeepSeek V4 Flash oryginalny Pi zajął pierwsze miejsce.
Cena --
Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.
Możesz również polubić

Microsoft rozpoczyna integrację aplikacji Copilot

150 milionów wonów funduszu przyszłości inwestuje w firmy AI i biotechnologiczne w Uijeongbu

Deep Sea Intelligent zakończył rundę finansowania A o wartości ponad 500 milionów juanów

Nowela fixCleanup3_3_0, wzmocnienie weryfikacji pożyczek i skarbców

Accel zakończył pozyskiwanie funduszy w wysokości 550 milionów dolarów na rynek indyjski

Circle Agent Stack open source, wspiera portfele AI i płatności USDC

Po zhakowaniu prawdziwych firm przez modele AI, laboratoria AI wzywają do wzmocnienia obrony cybernetycznej

Upadacitinib wykazuje obiecujące wyniki w leczeniu ciężkiej alopecji areata

Bitcoin w drodze do 11 milionów dolarów... "Prawo mocy zostanie złamane w 2036 roku"

OpenAI przerywa dostęp SpaceX do swojej AI: co jest stawką

Spadek jena może wymusić likwidacje i wstrząsnąć rynkami globalnymi

Orzeczenie Kalshi zagraża zasadom prognoz CFTC

Wydatki na karty stablecoin przekraczają 10,9 miliarda dolarów

Kiedy płacisz podatek od kryptowalut? Tak działa box 3 dla Ciebie

Falcon-1024 uznany za kandydata na nowy algorytm podpisu Bitcoin

Tokeny akcji kryptowalutowych ledwo się poruszają w weekend, ujawniając, że rynki stają się niepłynne, gdy Wall Street jest offline

Amerykański dług: Grayscale wskazuje 3 kryptowaluty, które mogą na tym skorzystać

Jak 739 miliardów dolarów nowego długu USA może wchłonąć płynność kryptowalut zanim skupy dotrą do Bitcoina

Memecoins i polityka: Kalifornia zakazuje urzędnikom tworzenia własnej kryptowaluty

Popularne portfele Bitcoin ryzykują utratę wsparcia dla nowych urządzeń sprzętowych, gdy krytyczny most bezpieczeństwa przestaje akceptować nowe urządzenia

Crypto: Polygon ujawnia, dlaczego hard forki Austin i Kyoto były konieczne

Rally Bitcoina opiera się na napływie ETF-ów w wysokości 2,8 miliarda dolarów

Miner Vps opinie: sprawdzenie bota Telegram do wynajmu serwerów pod kopanie

Plaża Bitcoin w Salwadorze traci popularność! Restauracja otrzymała tylko 1 BTC w ciągu miesiąca, a klienci wracają do tradycyjnych kart płatniczych

Stablecoiny: Banki odmawiają jakiegokolwiek kompromisu w sprawie zysków

Bitcoin: pełna historia luki Coldcard, od kradzieży za 38 milionów do bilansu 140 milionów

Czym jest Nillion (NIL)? Przewodnik po aktywach kryptograficznych i obliczeniach w trybie blind

Czym jest StonkFun (STONK)? Przewodnik po handlu tokenizowanymi akcjami i wyjaśnienie mechanizmu

Po wyborach, czy "transakcja Trumpa" obróci się przeciwko niemu?




