Ant Group Ling-3.0-flash offiziell Open Source, FP8-Version nur 128 GB

Die Ant Group hat die Gewichte von Ling-3.0-flash offiziell freigegeben und bietet sowohl die BF16-Originalversion als auch die FP8-quantisierte Version an, beide unter der MIT-Lizenz. Sie sind jetzt auf Hugging Face und ModelScope verfügbar und können mit SGLang oder vLLM selbst bereitgestellt werden. Die BF16-Version hat etwa 255 GB, die FP8-Version etwa 128 GB, was die Größe fast halbiert. FP8 speichert Parameter mit geringerer Präzision, wodurch die Speicher- und Grafikspeicheranforderungen gesenkt werden. Offizielle Tests zeigen, dass der maximale Unterschied zwischen FP8 und BF16 1,57 Punkte beträgt. Ling-3.0-flash hat insgesamt 124 Milliarden Parameter, von denen bei jeder Generierung nur 5,1 Milliarden aktiviert werden, und unterstützt einen Kontext von 256.000 Tokens, hauptsächlich für Agentenaufgaben wie Programmierung, Suche, tiefgehende Forschung und Toolaufrufe. Offizielle Bewertungen zeigen, dass dieses Modell in den meisten Benchmarks die vorherige Generation Ring-2.6-1T mit einer Billion Parametern erreicht oder übertrifft.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.