Tencent Mixyuan выпустил сжатые версии Hy3 1bit и 4bit

Tencent Mixyuan выпустил сжатые версии Hy3 1bit и 4bit, что значительно снизило порог развертывания модели с 295 миллиардов параметров. Исходный вес Hy3 составляет почти 600 ГБ, версия 1bit уменьшена до 85,5 GiB и может работать на одной видеокарте NVIDIA H20 объемом 96 ГБ. При работе на одной карте пользователям необходимо отключить некоторые функции ускорения и сократить длину обрабатываемого текста. После использования двух видеокарт H20 можно включить ускорение. Объем версии 4bit составляет 169,9 GiB, для ее работы требуется как минимум две видеокарты H20; хотя она занимает больше видеопамяти, но результаты ближе к оригинальной модели. Tencent Mixyuan заявляет, что версия 4bit по коду, вызовам инструментов, пониманию длинных текстов и задачам Agent близка к оригинальной модели, а версия 1bit также имеет лишь небольшое снижение. После включения генеративного ускорения скорость версии 1bit увеличивается примерно на 50%, а версии 4bit — почти на 60%. Кроме того, Tencent Mixyuan также предлагает версию 4bit, подходящую для развертывания на серверах, которую можно использовать в качестве API для вызова несколькими пользователями или приложениями.