Comparação de Taxa de Sucesso e Custos do Teste DeepSeek V4 Flash com 8 Harness

A empresa de infraestrutura de IA Composio integrou o DeepSeek V4 Flash a 8 Harness, utilizando um mesmo lote de 30 tarefas de Agent para testes, envolvendo aplicativos como Gmail, GitHub, Slack, Calendar e Notion. Os resultados de aprovação dos 8 Harness foram: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24 e OpenCode 14/30. Após a troca de Harness, o número de tarefas aprovadas do DeepSeek V4 Flash aumentou de 14 para 20. Em termos de custos, o Pi Agent teve um custo de aproximadamente 0,028 dólares por tarefa bem-sucedida, enquanto o Claude Code custou 0,195 dólares, uma diferença de quase 7 vezes. Em relação à velocidade, o tempo médio do Claude Code foi de 122,7 segundos, com Oh My Pi sendo o mais lento, com 272,4 segundos. A configuração de teste do Pi teve diferenças em relação às condições uniformes, utilizando intensidade de raciocínio alta em vez de máxima, e 24 das 30 tarefas utilizaram a API oficial do DeepSeek. A Composio já havia realizado uma outra rodada de comparação de Harness com o Kimi K3, onde o Oh My Pi ficou em primeiro lugar com 22/25, enquanto o Pi Agent original obteve 18/25; após a troca para o DeepSeek V4 Flash, o Pi original alcançou o primeiro lugar.

Este conteúdo é fornecido apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, promoções online ou informações relacionadas mencionadas neste documento não devem ser consideradas uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar qualquer outra transação com criptoativos. Criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar conforme a região. É de sua responsabilidade garantir que sua participação esteja em conformidade com as leis e regulamentações locais aplicáveis.