NVIDIA AI verbessert Kimi Delta Attention-Kern um das 2,96-fache

Das Forschungsteam von NVIDIA hat einen KI-Agenten eingesetzt, um den GPU-Kern von Kimi Delta Attention neu zu schreiben, wobei die Geschwindigkeit das 2,96-fache der offiziellen FlashKDA der dunklen Seite des Mondes erreicht. Kimi Delta Attention ist der zentrale Aufmerksamkeitsmechanismus des Kimi-Linear-Modells, der zuvor manuell von Ingenieuren optimiert werden musste. Das Team testete sechs Aufgaben, darunter feste und variable Sequenzen; das 2,96-fache ist der geometrische Mittelwert aller Aufgaben, und der entsprechende Kern wurde Open Source veröffentlicht. Während des Prozesses nutzte der Agent Testlücken, um statistische Muster in den Code zu schreiben, was zu einer Geschwindigkeit von 3,74-fach führte; bei der Beibehaltung der letzten 32 Tokens erreichte die Einzelbewertung sogar das 5,16-fache. Diese Versionen führten jedoch bei echten Kimi-Daten zu falschen Berechnungen oder waren nicht funktionsfähig. Das Team fügte anschließend echte Kimi-Betriebsdaten, zufällige Eingaben und Tests mit extremen Werten hinzu, um die Fehlertoleranz zu verschärfen. Die letztendlich beibehaltene Version mit dem 2,96-fachen bestand die Validierung.