Исследование: Повышение эффективности предварительного обучения с 2019 по 2025 год в основном связано с данными

Исследование проанализировало вклад данных и улучшений моделей в прогресс предварительного обучения с 2019 по 2025 год. Исследование проводилось на небольшом масштабе, используя ежегодно публикуемые рецепты моделей и данные, комбинируя обучение на вычислительных масштабах до 1e19 FLOPs. Результаты показывают, что при вычислительном бюджете в 1e19 FLOPs прирост вычислительной эффективности от улучшений данных составляет 12,0 раз, а от улучшений моделей — 3,7 раз, при этом прирост от данных примерно в 3,24 раза превышает прирост от моделей. Приросты от данных и моделей в целом независимы и почти не взаимодействуют, линейная модель объясняет аддитивный эффект обоих факторов на 88% дисперсии OLMES. Сторона моделей эволюционировала от GPT-2 до OLMo-2, охватывая оптимизаторы, позиционное кодирование, нормализацию, функции активации и инициализацию и т.д. Сторона данных эволюционировала от OpenWebText с примерно 9 миллиардами токенов в 2019 году до UltraFineWeb с большим объемом и более тонкой фильтрацией в 2025 году.