Kog, możliwość przetwarzania 3000 tokenów na sekundę za pomocą standardowych GPU

Francuski startup Kog ogłosił strategię zwiększenia prędkości wnioskowania AI na standardowych GPU w centrach danych. Kog przyjął podejście polegające na jednoczesnym projektowaniu oprogramowania i struktury modeli, aby zwiększyć wykorzystanie GPU od Nvidii i AMD. Kog ogłosił, że zintegrował czas wykonywania, rdzeń GPU i architekturę modelu w zoptymalizowanym pipeline, aby poprawić prędkość odpowiedzi na zapytania agentów AI. Zgodnie z technologicznym podglądem silnika wnioskowania Kog, opublikowanym 28 maja, na 8 GPU AMD MI300X można przetwarzać 3000 tokenów wyjściowych na sekundę na zapytanie, podczas gdy 8 GPU Nvidii H200 w tych samych warunkach osiągnęło 2100 tokenów wyjściowych na sekundę. Kog koncentruje się na zastosowaniach związanych z agentami kodującymi AI oraz agentowymi przepływami pracy. Model Laneformer 2B, opublikowany 24 czerwca na Hugging Face, ma 2,3 miliarda parametrów i wykazał wyniki 45,1% w HumanEval+ oraz 51,6% w MBPP+. Kog ogłosił w poście na LinkedIn w sierpniu, że w rzeczywistym teście osiągnięto 2857 tokenów na sekundę. Jednakże istnieją kontrowersje dotyczące interpretacji tych wartości prędkości, a także wskazano, że porównania są trudne w zależności od rozmiaru modelu i sprzętu. Celem Kog jest zapewnienie niskiego opóźnienia na istniejącej infrastrukturze GPU.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.