Ant Group та vLLM спільно відкривають Humming — ядро для кількісного висновку

Ant Group та спільнота vLLM спільно відкривають Humming, бібліотеку операторів для високопродуктивного кількісного висновку. Humming підтримує широкий спектр пристроїв, включаючи різноманітні GPU та пристрої, сумісні з CUDA. Ця бібліотека пропонує багатий набір підтримки кількісного висновку, забезпечуючи єдину архітектуру для підтримки різних комбінацій ваг та активацій у Dense та MoE, охоплюючи різні ціліочисельні та плаваючі типи, ширини бітів та способи масштабування. Humming демонструє значно кращу продуктивність у різних типових навантаженнях порівняно з існуючими реалізаціями, такими як vLLM Marlin, FlashInfer та DeepGEMM.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.