SemiAnalysis: Kimi K3 reduce el ancho de banda de transmisión KV, la demanda de redes de IA no disminuye

El 19 de julio, SemiAnalysis informó que aproximadamente tres cuartas partes de la capa de red del Kimi K3 utilizan KDA, lo que puede reducir el ancho de banda de transmisión de caché KV hasta en 10 veces, pero esto no resultará en una contracción significativa del mercado de conmutadores de red de IA. El Kimi K3 cuenta con 28 billones de parámetros y, al utilizar MXFP4, requiere aproximadamente 1.5TB de ancho de banda HBM por cada cálculo hacia adelante. Para mantener una velocidad de interacción razonable y lograr implementaciones rentables, aún se necesita conectar una gran cantidad de chips a través de redes de alto ancho de banda como GB300 NVL72, y depender de servicios de expansión WideEP. WideEP dispersa 896 modelos expertos a múltiples GPU y ejecuta la distribución de tokens y la fusión de resultados dos veces en cada capa y en cada cálculo hacia adelante, requiriendo más de 120 ejecuciones por cálculo hacia adelante. En comparación, la transmisión de caché KV ocurre solo una vez por cada ronda de diálogo, por lo que el ancho de banda de transmisión ahorrado por KDA podría ser mucho menor que la demanda de red ampliada que traen los modelos expertos a gran escala. SemiAnalysis considera que mecanismos de atención más eficientes podrían impulsar la longitud del contexto de 1 millón de tokens a más de 5 millones de tokens, y la mejora de la eficiencia podría ampliar la escala de uso de IA, aumentando aún más la demanda de red.

Descargo de responsabilidad: Este contenido se proporciona únicamente con fines generales de desarrollo de marca e informativos y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, evento en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación para comprar, vender, tradear o negociar de cualquier otra forma con cualquier criptoactivo o para utilizar cualquier servicio. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. Es posible que los servicios de WEEX y los eventos en línea no estén disponibles en todas las regiones, así como que estén sujetos a las leyes, regulaciones y requisitos de elegibilidad vigentes. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con las criptomonedas.