Порівняння успішності та витрат 8 наборів Harness у тестуванні DeepSeek V4 Flash

By: t.me|2026/08/11 07:32:53
0
Поширити
copy
Оцінити в GoogleОцінити в Google

Компанія Composio, що займається інфраструктурою AI Agent, підключила DeepSeek V4 Flash до 8 наборів Harness та провела тестування за допомогою однієї партії з 30 завдань Agent, які включали такі програми, як Gmail, GitHub, Slack, Calendar, Notion тощо. Результати проходження 8 наборів Harness: Pi Agent 20/30, Oh My Pi 17/30, Claude Code 16/30, Codex 16/30, Deep Agents 16/30, Hermes Agent 15/30, Prime Agent 15/24, OpenCode 14/30. Після зміни Harness кількість успішних завдань DeepSeek V4 Flash зросла з 14 до 20. Щодо витрат, Pi Agent коштує приблизно 0,028 долара за успішне завдання, тоді як Claude Code — 0,195 долара, що майже в 7 разів більше. Щодо швидкості, медіана часу для Claude Code становила 122,7 секунди, а найповільніший Oh My Pi — 272,4 секунди. Конфігурація тестування Pi відрізнялася від єдиних умов, оскільки використовувалася висока, а не максимальна інтенсивність міркувань, і з 30 завдань 24 використовували офіційний API DeepSeek. Раніше Composio проводила ще один раунд порівняння Harness за допомогою Kimi K3, де Oh My Pi зайняв перше місце з результатом 22/25, оригінальний Pi Agent — 18/25, а після переходу на DeepSeek V4 Flash оригінальний Pi вийшов на перше місце.

Ціна --

--
--
--

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.

Вам також може сподобатися

Бик тут, разом з творцем токена, який не заробив жодної копійки

Microsoft розпочала інтеграцію додатку Copilot

Microsoft ($MSFT) розпочала роботу над об'єднанням споживчого Copilot та корпоративного Microsoft 365 Copilot в єдиний досвід додатку. Особисті облікові записи та корпоративні/шкільні облікові записи...

150 мільйонів вонів інвестиційний фонд для майбутніх технологій, інвестує в AI та біотехнології в Уйджонбу

Місто Уйджонбу в провінції Кьонгі створило інвестиційний фонд у розмірі 150 мільйонів вонів для підтримки підприємств у сферах штучного інтелекту (AI), біотехнологій, медіа та контенту.

Генеральний директор Intel Ліп-Бу Тан в останньому інтерв'ю: після пропуску мобільності, хмари та ШІ, наступну хвилю не можна пропустити

Deep Sea Intelligence завершила раунд фінансування A на понад 500 мільйонів юанів

Дев'ятирічний шлях Ван Сін Сін до мільйонів: від невідомого до першого ряду

...

Найновіші статті

Більше

Нещодавні лістинги монет на WEEX

iconiconiconiconiconicon
Підтримка клієнтів:@weikecs
Співпраця:@weikecs
Кількісна торгівля та маркетмейкінг:[email protected]
VIP-програма:[email protected]