Comparativa de tasa de éxito y costos de 8 Harness en la prueba de DeepSeek V4 Flash

La empresa de infraestructura de IA Composio ha integrado DeepSeek V4 Flash con 8 Harness, utilizando el mismo lote de 30 tareas de Agent para realizar pruebas, que incluyen aplicaciones como Gmail, GitHub, Slack, Calendar y Notion. Los resultados de las 8 Harness son los siguientes: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24 y OpenCode 14/30. Tras cambiar el Harness, el número de tareas aprobadas por DeepSeek V4 Flash aumentó de 14 a 20. En términos de costos, Pi Agent tiene un costo de aproximadamente 0.028 dólares por tarea exitosa, mientras que Claude Code cuesta 0.195 dólares, lo que representa una diferencia de casi 7 veces. En cuanto a la velocidad, el tiempo medio de Claude Code fue de 122.7 segundos, siendo Oh My Pi el más lento con 272.4 segundos. La configuración de prueba de Pi presenta diferencias con las condiciones uniformes, utilizando una intensidad de inferencia alta en lugar de máxima, y de las 30 tareas, 24 utilizaron la API oficial de DeepSeek. Composio había realizado anteriormente otra ronda de evaluación horizontal de Harness con Kimi K3, donde Oh My Pi obtuvo el primer lugar con 22/25, el Pi Agent original logró 18/25, y tras cambiar a DeepSeek V4 Flash, el Pi original alcanzó el primer puesto.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.