SemiAnalysis: Kimi K3 снижает пропускную способность передачи KV, спрос на AI-сети не уменьшается

19 июля SemiAnalysis сообщила, что примерно три четверти сетевого уровня Kimi K3 используют KDA, что может снизить пропускную способность передачи KV до 10 раз, но это не приведет к значительному сокращению рынка сетевых коммутаторов AI. Kimi K3 имеет 28 триллионов параметров и требует около 1,5 ТБ HBM пропускной способности на каждую прямую вычислительную операцию при использовании MXFP4. Для поддержания разумной скорости взаимодействия и достижения прибыльного развертывания необходимо подключение большого количества чипов через высокоскоростные сети, такие как GB300 NVL72, и зависимость от расширительных услуг WideEP. WideEP распределяет 896 экспертных моделей по нескольким GPU и дважды выполняет распределение токенов и объединение результатов на каждом уровне и в каждой прямой вычислительной операции, что требует более 120 выполнений за одну прямую вычислительную операцию. В отличие от этого, передача KV кэшируется только один раз за цикл диалога, поэтому сэкономленная пропускная способность передачи KDA может быть значительно меньше, чем потребность в расширении сети, вызванная крупномасштабными экспертными моделями. SemiAnalysis считает, что более эффективный механизм внимания может повысить длину контекста с 1 миллиона токенов до более чем 5 миллионов токенов, что может увеличить масштаб использования AI и дополнительно увеличить спрос на сеть.

Отказ от ответственности: Данный контент предоставляется исключительно в целях общего брендинга и предоставления информации и не является финансовой, инвестиционной, юридической или налоговой консультацией. Любые события, вознаграждения, онлайн-мероприятия или связанная с ними информация, упомянутые здесь, не должны рассматриваться как рекомендация, предложение или приглашение к покупке, продаже, торговле или иным операциям с криптоактивами или к использованию каких-либо услуг. Криптовалюты обладают высокой волатильностью и могут привести к убыткам. Услуги WEEX и онлайн-мероприятия могут быть недоступны во всех регионах и регулируются применимыми законами, правилами и требованиями к участию. Вы несете ответственность за обеспечение соответствия использования вами услуг WEEX местным законам и за тщательную оценку рисков перед участием в любой деятельности, связанной с криптовалютами.