Estudio: La mejora de la eficiencia del preentrenamiento de 2019 a 2025 proviene principalmente de los datos

El estudio analizó la contribución de los datos y las mejoras del modelo en el progreso del preentrenamiento de 2019 a 2025. Se llevó a cabo a menor escala, utilizando fórmulas de modelos y corpus de datos publicados anualmente, combinando el entrenamiento en una escala de cálculo de hasta 1e19 FLOPs. Los resultados muestran que, con un presupuesto de cálculo de 1e19 FLOPs, la mejora de los datos proporciona un aumento de eficiencia de cálculo de 12.0 veces, mientras que la mejora del modelo es de 3.7 veces, lo que significa que el aumento del lado de los datos es aproximadamente 3.24 veces mayor que el del lado del modelo. Las ganancias de los datos y del modelo son en gran medida independientes, casi sin interacción, y el efecto aditivo de ambos puede explicar el 88% de la varianza de la puntuación OLMES en un modelo lineal. El lado del modelo evolucionó de GPT-2 a OLMo-2, abarcando optimizadores, codificación de posiciones, normalización, funciones de activación e inicialización, entre otros. El lado de los datos evolucionó desde aproximadamente 9 mil millones de tokens de OpenWebText en 2019 hasta corpus más grandes y con filtrado más fino como UltraFineWeb en 2025.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.