Qualcomm współpracuje z Multiverse Computing w zakresie optymalizacji modeli AI

Qualcomm współpracuje z Multiverse Computing w zakresie optymalizacji modeli AI dla centrów danych. Celem tej współpracy jest zmniejszenie rozmiaru i obciążenia wykonawczego dużych modeli językowych (LLM), co ma na celu zwiększenie efektywności wnioskowania. Multiverse Computing planuje zoptymalizować lekkie modele AI dla akceleratorów Qualcomm Dragonfly AI200 i AI250. Kluczową technologią jest CompactifAI, która wykorzystuje sieci tensorowe do zmniejszenia rozmiaru LLM i zużycia pamięci. Technologia ta ma na celu obniżenie kosztów wnioskowania o 50-80% oraz zwiększenie prędkości wnioskowania nawet do 2 razy, przy zachowaniu dokładności na poziomie niemal 100% w porównaniu do oryginalnego modelu. Qualcomm przedstawił mapę drogową akceleratorów wnioskowania, obejmującą AI200, AI250 i AI300, przy czym AI250 został zaprojektowany tak, aby oferować efektywną przepustowość pamięci na poziomie 133 TB/s na kartę. Multiverse Computing twierdzi, że do czerwca 2025 roku CompactifAI będzie w stanie zmniejszyć rozmiar LLM o maksymalnie 95% i może być używane zarówno w chmurze, jak i w prywatnych centrach danych oraz w ultra lekkich środowiskach. Ta współpraca jest związana z strategią Qualcomm dotyczącą wejścia na rynek centrów danych do wnioskowania AI.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.