NVIDIA Qwen3.8-Flash-Next osiąga ponad 16 000 Tokenów na sekundę na platformie GB300 NVL72

NVIDIA opublikowała artykuł, w którym stwierdza, że najnowszy model Alibaba Qwen3.8-Flash-Next uzyskał wsparcie na platformie NVIDIA GB300 NVL72. Model ten ma całkowitą liczbę parametrów wynoszącą 176 miliardów, z około 6 miliardami parametrów aktywowanymi na każdy Token. Oferuje natywną obsługę kontekstu do 262 000 Tokenów i może być rozszerzony do 1 miliona Tokenów za pomocą YaRN, głównie w zastosowaniach Agentów z długim kontekstem, takich jak inteligentne programowanie, przetwarzanie dokumentów i wywoływanie narzędzi. NVIDIA stwierdziła, że Qwen3.8-Flash-Next wykorzystuje mieszany architekturę Gated DeltaNet (GDN) i Qwen Sparse Attention (QSA), aby zmniejszyć obciążenie obliczeniowe i pamięci KV w scenariuszach z długim kontekstem. Testy wykazały, że na platformie GB300 NVL72 model osiąga wydajność przekraczającą 16 000 Tokenów na sekundę na pojedynczym GPU oraz ponad 200 Tokenów na sekundę na jednego użytkownika; jednocześnie wspiera takie ramy inferencyjne jak SGLang, vLLM i TensorRT-LLM.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.