Kog ermöglicht die Verarbeitung von 3000 Token pro Sekunde mit herkömmlichen GPUs

Das französische Startup Kog hat eine Strategie zur Steigerung der KI-Inferenzgeschwindigkeit auf herkömmlichen Rechenzentrums-GPUs vorgestellt. Kog hat einen Ansatz gewählt, bei dem Software und Modellarchitektur gemeinsam entworfen werden, um die Nutzung von NVIDIA- und AMD-GPUs zu maximieren. Kog gab bekannt, dass sie die Laufzeit, GPU-Kernel und Modellarchitektur in eine optimierte Pipeline integriert haben, um die Antwortgeschwindigkeit auf Anfragen von KI-Agenten zu verbessern. Laut einer technischen Vorschau des Kog-Inferenz-Engines, die am 28. Mai veröffentlicht wurde, können 8 AMD MI300X GPUs pro Anfrage 3000 Ausgabetoken pro Sekunde verarbeiten, während 8 NVIDIA H200 GPUs unter denselben Bedingungen 2100 Ausgabetoken pro Sekunde erreichen. Kog konzentriert sich hauptsächlich auf KI-Coding-Agenten und agentenbasierte Workflows. Das am 24. Juni auf Hugging Face veröffentlichte Laneformer 2B-Modell hat 2,3 Milliarden Parameter und zeigte eine Leistung von 45,1 % bei HumanEval+ und 51,6 % bei MBPP+. Kog gab in einem LinkedIn-Beitrag im August bekannt, dass sie in einer Live-Demo 2857 Token pro Sekunde erreicht haben. Es gibt jedoch Kontroversen über die Interpretation der Geschwindigkeitszahlen, und es wird darauf hingewiesen, dass ein Vergleich aufgrund der Modellgröße und der Hardware schwierig ist. Kogs Ziel ist es, eine niedrige Latenzzeit auf bestehender GPU-Infrastruktur zu gewährleisten.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.