Confronto tra tasso di successo e costi di 8 Harness nel test di DeepSeek V4 Flash

L'azienda di infrastrutture AI Composio ha integrato DeepSeek V4 Flash con 8 Harness, utilizzando un lotto di 30 task Agent per i test, che coinvolgono applicazioni come Gmail, GitHub, Slack, Calendar e Notion. I risultati di successo per le 8 Harness sono stati: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. Dopo la sostituzione degli Harness, il numero di task completati da DeepSeek V4 Flash è aumentato da 14 a 20. Per quanto riguarda i costi, Pi Agent ha un costo di circa 0,028 dollari per task riuscito, mentre Claude Code è a 0,195 dollari, con una differenza di quasi 7 volte. In termini di velocità, il tempo medio di Claude Code è stato di 122,7 secondi, mentre Oh My Pi ha impiegato il massimo di 272,4 secondi. La configurazione di test di Pi differisce dalle condizioni standard, utilizzando un'intensità di inferenza alta invece di massima, e 24 dei 30 task hanno utilizzato l'API ufficiale di DeepSeek. Composio aveva precedentemente effettuato un'altra valutazione orizzontale degli Harness con Kimi K3, dove Oh My Pi ha ottenuto il primo posto con 22/25, mentre la versione originale di Pi Agent ha ottenuto 18/25; dopo il passaggio a DeepSeek V4 Flash, la versione originale di Pi ha raggiunto il primo posto.

Questo contenuto è fornito a solo scopo informativo generale e non costituisce consulenza finanziaria, di investimento, legale o fiscale. Qualsiasi evento, ricompensa, promozione online o informazione correlata menzionata nel presente documento non deve essere considerata una raccomandazione, una sollecitazione o un invito ad acquistare, vendere, fare trading o altrimenti negoziare criptovalute. Le criptovalute sono altamente volatili e possono comportare perdite. La disponibilità dei servizi, dei prodotti e degli eventi correlati di WEEX può variare a seconda della regione. È tua responsabilità assicurarti che la tua partecipazione sia conforme alle leggi e ai regolamenti locali applicabili.