Ant Group Ling-3.0-flash офіційно відкрито, версія FP8 лише 128 ГБ

Ant Group офіційно відкрила ваги Ling-3.0-flash, пропонуючи оригінальну версію BF16 та кількісну версію FP8, обидві під ліцензією MIT, доступні на Hugging Face та ModelScope, з можливістю самостійного розгортання за допомогою SGLang або vLLM. Версія BF16 займає близько 255 ГБ, а версія FP8 - близько 128 ГБ, що майже вдвічі менше, FP8 зберігає параметри з нижчою точністю, знижуючи вимоги до зберігання та відеопам'яті. Офіційні тести показали, що максимальна різниця між FP8 та BF16 становить 1,57 бала. Ling-3.0-flash має загальну кількість параметрів 1240 мільярдів, активуючи лише 5,1 мільярда під час кожного генерування, підтримує контекст до 256 тисяч токенів, головним чином орієнтуючись на завдання агентів, такі як програмування, пошук, глибоке дослідження та виклик інструментів. Офіційні оцінки показали, що ця модель досягає або перевищує показники попередніх моделей з трильйонами параметрів, таких як Ring-2.6-1T на більшості бенчмарків.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.