NVIDIA Qwen3.8-Flash-Next досягає понад 16 тисяч токенів на секунду на платформі GB300 NVL72

NVIDIA опублікувала статтю, в якій зазначається, що остання попередня модель Alibaba Qwen3.8-Flash-Next отримала підтримку платформи NVIDIA GB300 NVL72. Загальна кількість параметрів моделі становить 1760 мільярдів, при цьому на кожен токен активується близько 6 мільярдів параметрів. Модель нативно підтримує контекст до 262 тисяч токенів і може бути розширена до 1 мільйона токенів за допомогою YaRN, орієнтуючись на застосування Agent з довгим контекстом, такі як інтелектуальне програмування, обробка документів та виклики інструментів. NVIDIA зазначає, що Qwen3.8-Flash-Next використовує змішану архітектуру Gated DeltaNet (GDN) та Qwen Sparse Attention (QSA) для зменшення обчислювальних витрат та витрат на кешування KV у сценаріях з довгим контекстом. Тестування показало, що на платформі GB300 NVL72 ця модель має пропускну здатність понад 16 тисяч токенів на секунду на один GPU, а пропускна здатність для одного користувача перевищує 200 токенів на секунду; також підтримує такі інфраструктури, як SGLang, vLLM та TensorRT-LLM.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.