NVIDIA Qwen3.8-Flash-Next atteint un débit de plus de 16 000 tokens/seconde sur la plateforme GB300 NVL72

NVIDIA a publié un article indiquant que le dernier modèle prévisualisé par Alibaba, Qwen3.8-Flash-Next, a obtenu le soutien de la plateforme GB300 NVL72 de NVIDIA. Ce modèle a un total de 176 milliards de paramètres, avec environ 6 milliards de paramètres activés par token, et prend en charge nativement un contexte de 262 000 tokens, pouvant être étendu à 1 million de tokens via YaRN. Il est principalement destiné aux applications d'agent à long contexte telles que la programmation intelligente, le traitement de documents et l'appel d'outils. NVIDIA a déclaré que Qwen3.8-Flash-Next utilise une architecture hybride Gated DeltaNet (GDN) et Qwen Sparse Attention (QSA) pour réduire les coûts de calcul et de cache KV dans les scénarios à long contexte. Les tests montrent qu'avec le GB300 NVL72, le débit du modèle sur un seul GPU dépasse 16 000 tokens/seconde, avec un débit par utilisateur dépassant 200 tokens/seconde ; il prend également en charge des frameworks d'inférence tels que SGLang, vLLM et TensorRT-LLM.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.