NVIDIA réalise la réutilisation du cache entre modèles, DeepSeek et Kimi optimisent le KV Cache

Au cours des deux dernières années, l'optimisation de l'inférence des grands modèles s'est concentrée sur le KV Cache, qui contient les résultats intermédiaires des calculs laissés par le modèle après avoir lu le contexte. Plus le contenu est long, plus la consommation de mémoire vidéo et de bande passante est importante. DeepSeek-V2 réduit le KV Cache de 93,3 % grâce à la technologie MLA, tandis que Kimi Linear peut réduire jusqu'à 75 %. Les efforts de tous visent à réduire le coût des longs contextes. Cependant, les solutions existantes présentent des limites : le cache ne peut généralement être réutilisé qu'à l'intérieur du même modèle, et lors du changement de modèle, il est nécessaire de recalculer des dizaines de milliers, voire des centaines de milliers de tokens. Le routage fréquent des modèles entraîne inévitablement des calculs redondants. Le dernier article de NVIDIA propose une solution, découvrant qu'il existe une relation linéaire évidente entre les différents modèles de tailles variées appartenant à la même famille et ayant une structure KV correspondante. Grâce à un calibrage sur 500 segments de texte, chacun contenant 1024 tokens, il est possible de transférer le KV Cache d'un modèle à un autre. Lors du passage de Qwen3-14B à 32B, le recalcul d'un contexte de 32K prend environ 7 secondes, tandis que la conversion du cache ne nécessite qu'environ 0,28 seconde, soit une vitesse environ 25 fois plus rapide. Cela signifie que les petits modèles peuvent d'abord traiter de longs contextes pour générer un KV Cache, et lorsque des capacités plus puissantes sont nécessaires, le cache peut être transféré à un grand modèle pour la génération. Cette application mature du KV Cache entre modèles permettra d'économiser davantage de puissance de calcul lors du routage des modèles, les tâches simples pouvant être effectuées par de petits modèles, tandis que les problèmes complexes peuvent être traités par de grands modèles, évitant ainsi de devoir lire le contexte depuis le début à chaque fois.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.