Ant Group veröffentlicht Ling-3.0-tiny mit 7,9 Milliarden Parametern, erreicht 90 Token/s auf M4 Pro

Ant Group hat die Gewichte von Ling-3.0-tiny veröffentlicht und bietet drei Versionen an: BF16, FP8 und INT4, lizenziert unter MIT. Das Modell hat insgesamt 7,9 Milliarden Parameter, wobei nur 1,3 Milliarden pro Token aktiviert werden, hauptsächlich für lokale Bereitstellungen und Agentenszenarien. Ling-3.0-tiny ist mit 128 Routing-Experten ausgestattet, von denen jeder Token 8 Experten auswählt, zusätzlich zu einem gemeinsamen Experten. Der Aufmerksamkeitsmechanismus verwendet eine 3:1 KDA- und MLA-Mischarchitektur, wobei nach jeder 3. Schicht Kimi Delta Attention eine Schicht MLA folgt. Offiziellen Angaben zufolge kann die FP8-Version auf dem M4 Pro MacBook etwa 86-90 Token/s erreichen, während sie auf DGX Spark etwa 100-105 Token/s erreicht.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.