Studie: Effizienzsteigerung des Pre-Trainings von 2019 bis 2025 stammt hauptsächlich aus Daten

Die Studie analysierte den Beitrag von Daten und Modellverbesserungen zum Fortschritt des Pre-Trainings von 2019 bis 2025. Die Forschung wurde in kleinerem Maßstab durchgeführt, wobei jährlich veröffentlichte Modellrezepte und Datencorpora verwendet wurden, die auf einem Trainingscomputing-Budget von bis zu 1e19 FLOPs kombiniert wurden. Die Ergebnisse zeigen, dass unter einem Budget von 1e19 FLOPs der Effizienzgewinn durch Datenverbesserungen 12,0-fach beträgt, während die Modellverbesserungen 3,7-fach sind. Der Gewinn auf der Datenseite ist etwa 3,24-mal so hoch wie der auf der Modellseite. Die Gewinne aus Daten- und Modellverbesserungen sind weitgehend unabhängig und interagieren kaum. Der additive Effekt beider kann unter einem linearen Modell 88 % der Varianz der OLMES-Punkte erklären. Die Modellseite entwickelte sich von GPT-2 zu OLMo-2 und umfasste Optimierer, Positionskodierung, Normalisierung, Aktivierungsfunktionen und Initialisierung. Die Datenseite entwickelte sich von etwa 9 Milliarden Tokens von OpenWebText im Jahr 2019 zu größeren und feiner gefilterten Corpora wie UltraFineWeb im Jahr 2025.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.