Ant Group Ling-3.0-flash oficjalnie otwarte źródło, wersja FP8 tylko 128 GB

Ant Group oficjalnie udostępnił wagę Ling-3.0-flash, oferując wersję BF16 oraz wersję skwantyzowaną FP8, obie na licencji MIT, dostępne na Hugging Face i ModelScope, możliwe do samodzielnego wdrożenia za pomocą SGLang lub vLLM. Wersja BF16 ma około 255 GB, a wersja FP8 około 128 GB, co oznacza niemalże połowę objętości. FP8 wykorzystuje niższą precyzję do przechowywania parametrów, co obniża próg przechowywania i pamięci GPU. Oficjalne testy pokazują, że maksymalna różnica punktowa między FP8 a BF16 wynosi 1,57 punktu. Ling-3.0-flash ma 124 miliardy parametrów, aktywując tylko 5,1 miliarda przy każdym generowaniu, wspiera kontekst do 256 tysięcy tokenów, głównie skierowany na zadania Agentów związane z programowaniem, wyszukiwaniem, badaniami głębokimi i wywoływaniem narzędzi. Oficjalne oceny pokazują, że model ten osiąga lub przewyższa wyniki poprzednich modeli o bilionie parametrów, Ring-2.6-1T, w większości benchmarków.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.