NVIDIA Qwen3.8-Flash-Next erreicht über 16.000 Token/Sekunde Durchsatz auf GB300 NVL72

By: www.theblockbeats.info|2026/08/26 17:14:34

NVIDIA hat in einem Artikel bekannt gegeben, dass das neueste Vorschau-Modell von Alibaba, Qwen3.8-Flash-Next, die Unterstützung der NVIDIA GB300 NVL72 Plattform erhalten hat. Das Modell hat eine Gesamtparameterzahl von 176 Milliarden, wobei etwa 6 Milliarden Parameter pro Token aktiviert werden. Es unterstützt nativ einen Kontext von 262.000 Token und kann über YaRN auf bis zu 1 Million Token erweitert werden, hauptsächlich für Anwendungen von Agenten mit langem Kontext in intelligentem Programmieren, Dokumentenverarbeitung und Toolaufrufen. NVIDIA erklärte, dass Qwen3.8-Flash-Next eine gemischte Architektur aus Gated DeltaNet (GDN) und Qwen Sparse Attention (QSA) verwendet, um die Berechnungs- und KV-Cache-Kosten in Szenarien mit langem Kontext zu reduzieren. Tests zeigen, dass das Modell auf dem GB300 NVL72 mit einem einzelnen GPU-Durchsatz von über 16.000 Token/Sekunde und einem Durchsatz von über 200 Token/Sekunde pro Benutzer arbeitet. Es unterstützt auch Inferenz-Frameworks wie SGLang, vLLM und TensorRT-LLM.

---Preis

--
--
--

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.

Das könnte Ihnen auch gefallen

iconiconiconiconiconiconicon
Kundenservice:@weikecs
Geschäftliche Zusammenarbeit:@weikecs
Quant-Trading & MM:[email protected]
VIP-Programm:[email protected]