Vergleich der Erfolgsquote und Kosten von 8 Harness mit DeepSeek V4 Flash

Das KI-Agent-Infrastrukturunternehmen Composio hat DeepSeek V4 Flash mit 8 Harness verbunden und Tests mit derselben Charge von 30 Agenten durchgeführt. Die Aufgaben umfassten Anwendungen wie Gmail, GitHub, Slack, Calendar und Notion. Die Erfolgsquote der 8 Harness war wie folgt: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. Nach dem Wechsel des Harness stieg die Anzahl der erfolgreich durchgeführten Aufgaben von 14 auf 20. In Bezug auf die Kosten betrug der Preis pro erfolgreicher Aufgabe für den Pi Agent etwa 0,028 USD, während Claude Code 0,195 USD kostete, was einen Unterschied von fast dem 7-fachen ausmacht. In Bezug auf die Geschwindigkeit betrug die mediane Zeit für Claude Code 122,7 Sekunden, während Oh My Pi mit 272,4 Sekunden am langsamsten war. Die Testkonfiguration von Pi wies Unterschiede zu den einheitlichen Bedingungen auf, da eine hohe anstelle von maximaler Inferenzintensität verwendet wurde und von den 30 Aufgaben 24 die offizielle DeepSeek API nutzten. Composio hatte zuvor eine weitere Runde von Harness-Vergleichen mit Kimi K3 durchgeführt, wobei Oh My Pi mit 22/25 den ersten Platz belegte, während die Originalversion des Pi Agent 18/25 erzielte. Nach dem Wechsel zu DeepSeek V4 Flash erreichte die Originalversion von Pi den ersten Platz.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.