DDN Infinia integriert NVIDIA Inferenzdatenübertragung

DDN hat die Speicherplattform Infinia in das Inferenzdatenübertragungssystem von NVIDIA integriert. Diese Zusammenarbeit konzentriert sich darauf, die Wartezeiten der GPUs auf Daten in großen Sprachmodell-Diensten zu reduzieren. DDN gab am 23. Juli in einem technischen Blog bekannt, dass das Infinia NIXL-Plugin in die NVIDIA NIXL 1.3-Version und den Dynamo Inferenzcontainer integriert wurde. NIXL ist eine Bibliothek, die den Datentransfer zwischen GPUs, CPUs, SSDs und Objektspeichern in verteilten Inferenzumgebungen verwaltet. Die Integration konzentriert sich auf den Transfer von KV-Caches, die während des AI-Inferenzprozesses entstehen; KV-Caches sind Zwischeninformationen, die von LLMs gespeichert werden, um den Kontext wiederzuverwenden. Die NVIDIA Dynamo-Dokumentation erklärt, dass der KV-Cache zwischen GPU-Speicher, CPU-Speicher, SSDs und netzwerkverbundenem Speicher verschoben werden kann, um die Neuberechnung zu reduzieren und die Antwortverzögerung zu verringern. Ab NIXL 1.3 ist das Infinia-Plugin im Standardpaket enthalten, sodass nur das DDN-Client-Paket hinzugefügt werden muss. DDN erklärte, dass die KV-Cache-Beschleunigungsfunktion ohne Änderungen am Anwendungscode nur durch Konfiguration aktiviert werden kann. Sven Oehme, CTO von DDN, erklärte, dass Infinia den Kontext direkt an die GPUs liefert. Diese Zusammenarbeit steht im Zusammenhang mit der Bewältigung von Speicher- und Übertragungsengpässen in AI-Datenzentren, und DDN sowie NVIDIA verbessern den Weg, wie gespeicherte Kontextdaten während des Inferenzprozesses zu den GPUs verschoben werden.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.