Étude : L'amélioration de l'efficacité de pré-entraînement de 2019 à 2025 provient principalement des données

L'étude a analysé la contribution des données et des améliorations des modèles dans les progrès du pré-entraînement de 2019 à 2025. La recherche a été réalisée à une échelle réduite, en utilisant les recettes de modèles et les corpus de données publiés chaque année, combinant l'entraînement à une échelle de calcul maximale de 1e19 FLOPs. Les résultats montrent qu'avec un budget de calcul de 1e19 FLOPs, le gain d'efficacité computationnelle apporté par l'amélioration des données est de 12,0 fois, tandis que l'amélioration des modèles est de 3,7 fois, le gain du côté des données étant environ 3,24 fois supérieur à celui du côté des modèles. Les gains des améliorations des données et des modèles sont globalement indépendants, avec peu d'interaction, et l'effet additif des deux peut expliquer 88 % de la variance des scores OLMES dans un modèle linéaire. Du côté des modèles, l'évolution de GPT-2 à OLMo-2 couvre des aspects tels que les optimisateurs, le codage de position, la normalisation, les fonctions d'activation et l'initialisation. Du côté des données, on est passé d'OpenWebText avec environ 9 milliards de tokens en 2019 à des corpus plus grands et plus finement filtrés comme UltraFineWeb en 2025.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.