Tencent Mixyuan випустила стиснуті версії Hy3 1bit та 4bit

Tencent Mixyuan випустила стиснуті версії Hy3 1bit та 4bit, значно знизивши поріг розгортання для моделі з 295 мільярдами параметрів. Оригінальна вага Hy3 становить майже 600 ГБ, тоді як версія 1bit була зменшена до 85,5 ГіБ, що дозволяє їй працювати на одному графічному процесорі NVIDIA H20 з об'ємом пам'яті 96 ГБ. При роботі на одному графічному процесорі користувачам потрібно відключити деякі функції прискорення та скоротити довжину тексту, оброблюваного моделлю. Після використання двох графічних процесорів H20 прискорення можна активувати. Версія 4bit має розмір 169,9 ГіБ і вимагає принаймні два графічні процесори H20; хоча вона займає більше відеопам'яті, її продуктивність ближча до оригінальної моделі. Tencent Mixyuan заявила, що версія 4bit порівнянна з оригінальною моделлю за кодом, викликом інструментів, розумінням довгих текстів та завданнями Agent, тоді як версія 1bit показує лише незначне зниження. При активованому прискоренні швидкість версії 1bit збільшується приблизно на 50%, тоді як версія 4bit демонструє покращення майже на 60%. Крім того, Tencent Mixyuan також надала версію 4bit, придатну для серверного розгортання, яку можна перетворити на API для виклику кількома користувачами або додатками.