Le PDG de Nvidia révèle que GPT-6 Astra utilise 100 000 GPU Blackwell pour l'entraînement

Le PDG de Nvidia, Jensen Huang, a révélé que l'entraînement de GPT-6 Astra a utilisé environ 100 000 GPU Grace Blackwell, formant un cluster à haute vitesse via NVLink72. La prochaine série comprendra 400 000 GPU, mais le modèle spécifique n'a pas été précisé. Les principales entreprises de modèles en Chine ont encore un écart significatif en termes de puissance de calcul, avec ByteDance étant la plus proche, utilisant environ 36 000 B200. ByteDance utilise principalement des H20 et H800 basés sur l'architecture Hopper dans ses clusters en Chine. Kimi a obtenu environ 20 000 GPU Hopper via Alibaba, le modèle spécifique étant H200, mais Alibaba a nié cette affirmation. Le H200 appartient à la génération précédente de Hopper, tandis que le B200 a été mis à niveau vers Blackwell. Le GB200 combine le CPU Grace et le GPU Blackwell, et le NVL72 peut intégrer 72 GPU dans le même domaine de haute vitesse. DeepSeek n'a pas publié le matériel complet d'entraînement pour V4, mais des informations divulguées indiquent que l'entreprise avait environ 20 000 équivalents H en mai, avec une capacité d'environ 16 000 fournie par Huawei. Liang Wenfeng a déclaré que ce lot de cartes nationales équivaut à 4 000 cartes de la série B de Nvidia, ce qui est suffisant pour l'entraînement des modèles de la génération actuelle. Les Blackwell utilisés par Astra ne sont pas non plus de la dernière génération de Nvidia, le Vera Rubin étant déjà en production de masse. NVIDIA estime que le nombre de GPU nécessaires pour entraîner de grands modèles MoE avec Rubin pourrait être réduit à un quart de celui de Blackwell. Actuellement, aucune entreprise chinoise n'a divulgué de cas d'utilisation de 100 000 GPU avancés de la même génération pour l'entraînement d'un seul modèle, montrant l'écart entre les entreprises d'IA chinoises et américaines en termes de nombre et de génération de cartes.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.