Tether відкриває вихідний код TurboQuant: коефіцієнт стиснення KV-кешу для локальних ШІ-пристроїв сягає 5 разів

Команда дослідників ШІ Tether оголосила про відкриття вихідного коду робочої версії TurboQuant та її інтеграцію в QVAC SDK 0.12.0.

TurboQuant базується на алгоритмі стиснення пам'яті від Google Research, який дозволяє стискати KV-кеш середовища виконання ШІ до 5 разів, зберігаючи якість виводу, близьку до нестиснутих моделей.

Це означає, що ноутбуки, мобільні телефони та периферійні пристрої можуть обробляти довші діалоги, більші файли та складніші завдання без необхідності завантаження даних у хмару.

Цей реліз із відкритим кодом включає повний конвеєр квантування, адаптери для основних фреймворків виводу та документацію для розробників, орієнтовану на фахівців і стартапи, що впроваджують ШІ на споживчому обладнанні, периферійних пристроях та однорангових мережах.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.