Ант Групп запускає Ling 3.0 Flash з активацією 5,1 мільярда токенів на токен

Ант Групп, AI організація InclusionAI, оголосила про запуск Ling 3.0 Flash, в якому активовано лише 5,1 мільярда токенів з загальної кількості параметрів у 124 мільярди. Обсяг версії FP8 з квантованими даними становить приблизно 128 ГБ, що вдвічі менше, ніж у версії BF16. Оригінальна версія BF16 та версія FP8 з квантованими даними Ling 3.0 Flash доступні на Hugging Face та ModelScope під ліцензією MIT, і їх можна розповсюджувати через SGLang або vLLM. Ця модель використовує структуру змішаних експертів (Mixture-of-Experts, MoE), що дозволяє викликати лише частину експертних мереж в залежності від вхідних даних, зменшуючи обсяг обчислень. Вона підтримує базовий контекстний вікно 256K і може бути розширена до 1M токенів. У високочастотних завданнях мета полягає в досягненні пікової швидкості інференції до 1000 токенів на секунду та часу відповіді на перший токен менше 100 мс. Згідно з офіційною документацією, Ling 3.0 Flash застосовує гібридну лінійну структуру уваги з перехресним розміщенням шарів KDA та MLA у співвідношенні 5 до 1. Ling 3.0 Flash буде безкоштовно доступний з 1:00 23 липня до 0:59:59 7 серпня за корейським часом, а в серпні буде застосовано знижку 75%, після чого звичайна ціна становитиме 0,40 юаня за 1 мільйон вхідних токенів та 1,20 юаня за 1 мільйон вихідних токенів.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.