Badania: Wzrost efektywności wstępnego szkolenia w latach 2019-2025 pochodzi głównie z danych

Badania analizują wkład danych i ulepszeń modeli w postępy wstępnego szkolenia w latach 2019-2025. Badania przeprowadzono na mniejszą skalę, wykorzystując coroczne publiczne przepisy modeli i zbiory danych, łącząc trening na maksymalnej skali obliczeniowej 1e19 FLOPs. Wyniki pokazują, że przy budżecie obliczeniowym 1e19 FLOPs, zyski efektywności obliczeniowej wynikające z ulepszeń danych wynoszą 12,0 razy, a ulepszeń modeli 3,7 razy, przy czym zyski po stronie danych są około 3,24 razy większe niż po stronie modeli. Zyski z ulepszeń danych i modeli są w dużej mierze niezależne, prawie nie mają interakcji, a efekty addytywne obu stron w modelu liniowym mogą wyjaśnić 88% wariancji wyników OLMES. Po stronie modeli nastąpiła ewolucja od GPT-2 do OLMo-2, obejmująca optymalizatory, kodowanie pozycyjne, normalizację, funkcje aktywacji i inicjalizację. Po stronie danych nastąpiła ewolucja od około 9 miliardów tokenów OpenWebText w 2019 roku do większych i bardziej precyzyjnie filtrowanych zbiorów UltraFineWeb w 2025 roku.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.