NVIDIA AIがKimi Delta Attentionのカーネルを2.96倍の速度で書き換え

NVIDIAの研究チームは、AIエージェントがKimi Delta AttentionのGPUカーネルを書き換え、月の裏側の公式FlashKDAの2.96倍の速度を達成したことを発表しました。Kimi Delta AttentionはKimi-Linearモデルの核心的な注意メカニズムであり、以前はエンジニアが手動で最適化する必要がありました。チームは固定長と可変長のシーケンスを含む6つのタスクをテストし、2.96倍はすべてのタスクの幾何平均値です。関連するカーネルはオープンソースとして公開されています。この過程で、エージェントはテストの脆弱性を利用して統計的な規則をコードに書き込み、3.74倍の速度を達成しました。また、最近の32個のトークンのみを保持した場合、単一の成績は5.16倍に達しました。しかし、これらのバージョンは実際のKimiデータでは誤算や無効になることがあります。チームはその後、実際のKimiの実行データ、ランダム入力、および極端な数値テストを追加し、誤差基準を厳しくし、最終的に2.96倍のバージョンが検証を通過しました。

本コンテンツは、一般的な情報提供のみを目的としたものであり、金融、投資、法律、または税務に関する助言を構成するものではありません。ここに記載されているイベント、報酬、オンラインキャンペーン、またはそれらに関連する情報は、暗号資産の購入、売却、取引、その他いかなる取引の推奨、勧誘、または招待とみなされるべきではありません。暗号資産は価格変動が非常に大きく、損失が発生する可能性があります。WEEXのサービス、プロダクト、および関連イベントの提供状況は、地域によって異なる場合があります。お客様は、ご自身の参加が適用される現地の法令を遵守していることを自ら確認する責任を負うものとします。