SemiAnalysis : Kimi K3 réduit la bande passante de transmission KV, la demande pour les réseaux AI reste inchangée

Le 19 juillet, SemiAnalysis a déclaré que Kimi K3 utilise environ trois quarts de sa couche réseau avec KDA, permettant de réduire la bande passante de transmission KV jusqu'à 10 fois, mais cela ne conduira pas à une contraction significative du marché des commutateurs réseau AI. Kimi K3 possède 28 trillions de paramètres et nécessite environ 1,5 To de bande passante HBM pour chaque calcul avant avec MXFP4. Pour maintenir une vitesse d'interaction raisonnable et réaliser un déploiement rentable, il est toujours nécessaire de connecter un grand nombre de puces via des réseaux à haute bande passante comme le GB300 NVL72, tout en s'appuyant sur le service d'extension WideEP. WideEP répartit 896 modèles experts sur plusieurs GPU et exécute deux fois la distribution de tokens et la fusion des résultats à chaque couche et pour chaque calcul avant, nécessitant plus de 120 exécutions par calcul. En revanche, la transmission de cache KV ne se produit qu'une fois par cycle de dialogue, donc la bande passante de transmission économisée par KDA pourrait être bien inférieure à la demande de réseau d'extension générée par de grands modèles experts. SemiAnalysis estime qu'un mécanisme d'attention plus efficace pourrait augmenter la longueur du contexte de 1 million de tokens à plus de 5 millions de tokens, et cette amélioration d'efficacité pourrait élargir l'utilisation de l'IA, augmentant ainsi la demande pour les réseaux.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.