Francuski startup AI Kog stawia na przyspieszenie wnioskowania GPU przez oprogramowanie

Rywalizacja w zakresie przyspieszania wnioskowania AI nabiera tempa. Francuski startup Kog nie zdecydował się na opracowanie własnych chipów, lecz postawił na optymalizację oprogramowania, aby w pełni wykorzystać możliwości wnioskowania istniejących GPU w centrach danych przedsiębiorstw.

Skupienie na scenariuszach o wysokim opóźnieniu

Firma zyskała uwagę w maju tego roku dzięki prezentacji technologicznej. Kog pokazał, że przy użyciu standardowych GPU w centrach danych, takich jak AMD MI300X i Nvidia H200, można osiągnąć bardzo szybkie prędkości dekodowania pojedynczych żądań. Firma później stwierdziła, że ta prezentacja przyniosła około 200 wyraźnych wskazówek biznesowych.

Kog obecnie koncentruje się na profesjonalnych przepływach pracy, które wymagają wysokiej prędkości reakcji, szczególnie w scenariuszach inżynierii oprogramowania. Według firmy, niektórzy użytkownicy intensywnie generujący kod mogą czekać na wyniki nawet przez kilka godzin, a opóźnienia w wnioskowaniu stały się istotnym problemem wpływającym na doświadczenie użytkownika i koszty.

Firma współpracuje również z niektórymi partnerami projektowymi, aby wdrożyć aplikacje. Tego typu klienci pozwalają użytkownikom generować gry lub aplikacje za pomocą podpowiedzi, a zwiększenie prędkości wnioskowania zazwyczaj oznacza wyższą efektywność konwersji i większe możliwości przychodowe.

Mały model osiągnął 3000 TPS

Kog wcześniej postawił sobie cel "przyspieszenia wnioskowania dużych modeli o 30 razy", ale obecne publiczne demonstracje wciąż opierają się głównie na małych modelach. Ich prezentacja wykorzystywała model Laneformer 2B z około 2 miliardami parametrów, osiągając prędkość wnioskowania na poziomie 3000 tokenów na sekundę. Model ten jest już dostępny jako open source.

Jednakże popyt rynkowy nie ogranicza się do dostosowywania małych modeli. Kog stwierdził, że potencjalni klienci nie zamierzają koncentrować się na małych modelach, dlatego od czasu publikacji demonstracji firma skupiła się na przyspieszeniu rozwoju większych modeli, aby dostosować się do rzeczywistych potrzeb.

Weryfikacja możliwości dużych modeli przed wrześniem

Kog uważa, że potencjał GPU w dekodowaniu wnioskowania nie został jeszcze w pełni wykorzystany. Dyrektor generalny firmy, Gaël Delalleau, stwierdził, że wraz z ciągłym wzrostem przepustowości pamięci GPU nowej generacji, w warstwie oprogramowania wciąż istnieje duża przestrzeń do optymalizacji.

Kosztem tej metody jest długi czas rozwoju. Kog stwierdził, że dostosowanie nowego GPU często wymaga od zespołu poświęcenia kilku tygodni, a nawet miesięcy na badania na poziomie sprzętu. Przy obecnej wielkości zespołu liczącego 11 osób, liczba chipów, które firma może wspierać w krótkim okresie, pozostaje ograniczona.

Kog planuje w przyszłości stopniowo wprowadzać tę metodę do procesów rozwoju opartych na agentach, aby wspierać więcej chipów i modeli. Kluczowym punktem na ten moment jest najpierw udowodnienie, że ta droga może być skuteczna w przypadku dużych modeli. Delalleau przewiduje, że firma zakończy realizację pierwszego głównego modelu z około 10-krotnym przyspieszeniem przed wrześniem i na tej podstawie zaprezentuje postępy klientom, co pomoże w dalszym finansowaniu serii A.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.