Französisches KI-Startup Kog setzt auf Software zur Beschleunigung von GPU-Inferenz

Der Wettbewerb um die Beschleunigung von KI-Inferenz heizt sich auf. Das französische Startup Kog hat sich entschieden, nicht eigene Chips zu entwickeln, sondern setzt auf die Optimierung der zugrunde liegenden Software, um die Inferenzkapazitäten der bestehenden GPU-Datenzentren der Unternehmen weiter freizusetzen.

Zielgerichtet auf Unternehmensszenarien mit hoher Latenz

Das Unternehmen erregte im Mai dieses Jahres Aufmerksamkeit mit einer technischen Vorschau. Kog zeigte damals, dass selbst mit Standard-Datenzentrum-GPUs wie AMD MI300X und Nvidia H200 extrem schnelle Dekodierungsgeschwindigkeiten pro Anfrage erreicht werden können. Das Unternehmen gab anschließend an, dass diese Demonstration etwa 200 klare Geschäftsanfragen generiert hat.

Kog konzentriert sich derzeit vorrangig auf professionelle Workflows mit hohen Anforderungen an die Reaktionsgeschwindigkeit, insbesondere im Bereich Softwareentwicklung. Laut Unternehmensangaben kann die Wartezeit für einige intensive Code-Generierungsnutzer bis zu mehreren Stunden betragen, was die Inferenzlatenz zu einem wichtigen Faktor für das Nutzungserlebnis und die Kosten macht.

Das Unternehmen arbeitet auch mit einigen Designpartnern an der Umsetzung von Anwendungen. Diese Kunden ermöglichen es Nutzern, Spiele oder Anwendungen durch Eingabeaufforderungen zu generieren; eine Verbesserung der Inferenzgeschwindigkeit bedeutet in der Regel eine höhere Konversionsrate und Einkommensmöglichkeiten.

Kleine Modelle erreichen bereits 3000 TPS

Kog hatte zuvor das Ziel formuliert, die Inferenzgeschwindigkeit großer Modelle um das 30-Fache zu steigern, aber die aktuellen öffentlichen Demonstrationen basieren hauptsächlich auf kleinen Modellen. Die gezeigte Demonstration verwendete ein Modell mit etwa 2 Milliarden Parametern, Laneformer 2B, das eine Inferenzgeschwindigkeit von 3000 Tokens pro Sekunde erreicht. Dieses Modell ist mittlerweile Open Source.

Allerdings bleibt die Marktnachfrage nicht auf die Feinabstimmung kleiner Modelle beschränkt. Kog gibt an, dass potenzielle Kunden nicht bereit sind, den Fokus auf kleine Modelle zu legen, weshalb das Unternehmen seit der Veröffentlichung der Demonstration seine Hauptanstrengungen auf die beschleunigte Entwicklung größerer Modelle konzentriert hat, um den tatsächlichen Anforderungen gerecht zu werden.

Validierung der Fähigkeiten großer Modelle um September

Kog ist der Ansicht, dass das Potenzial von GPUs bei der Inferenzdekodierung noch nicht vollständig ausgeschöpft ist. Der CEO des Unternehmens, Gaël Delalleau, erklärt, dass mit der kontinuierlichen Verbesserung der Speicherbandbreite neuer GPU-Generationen noch erheblicher Optimierungsbedarf auf Softwareebene besteht.

Der Preis für diese Methode ist ein längerer Entwicklungszyklus. Kog gibt an, dass das Team oft mehrere Wochen oder sogar Monate in die Hardwareforschung investieren muss, um eine neue GPU anzupassen. Angesichts der derzeitigen Teamgröße von 11 Personen ist die Anzahl der Chips, die das Unternehmen kurzfristig unterstützen kann, nach wie vor begrenzt.

Kog plant, diese Methode in Zukunft schrittweise in den Entwicklungsprozess auf Basis von Agenten zu integrieren, um mehr Chips und Modelle zu unterstützen. Der derzeit entscheidende Punkt besteht darin, zunächst zu beweisen, dass dieser Ansatz auch bei großen Modellen funktioniert. Delalleau erwartet, dass das Unternehmen um September herum die erste signifikante Modellbeschleunigung von etwa 10-fach erreichen wird und auf dieser Grundlage Fortschritte bei den Kunden präsentieren kann, um die nachfolgende Finanzierungsrunde der Serie A voranzutreiben.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.