Tencent Hunyuan lança versões compactadas de Hy3 de 1bit e 4bit

A Tencent Hunyuan lançou versões compactadas de 1bit e 4bit do Hy3, reduzindo significativamente a barreira de implantação do modelo de 295 bilhões de parâmetros. O peso original do Hy3 é de quase 600GB, enquanto a versão de 1bit foi reduzida para 85,5GiB, podendo ser executada em uma única placa gráfica NVIDIA H20 de 96GB. Durante a execução em uma única placa, os usuários devem desativar algumas funções de aceleração e encurtar o comprimento do texto processado pelo modelo. Com duas placas gráficas H20, a aceleração pode ser ativada. A versão de 4bit tem um tamanho de 169,9GiB e requer pelo menos duas placas H20; embora ocupe mais memória, seu desempenho se aproxima do modelo original. A Tencent Hunyuan afirmou que a versão de 4bit é quase equivalente ao modelo original em termos de código, chamadas de ferramentas, compreensão de textos longos e tarefas de agente, enquanto a versão de 1bit apresenta apenas uma leve diminuição. Com a aceleração de geração ativada, a versão de 1bit tem um aumento de velocidade de cerca de 50%, enquanto a versão de 4bit aumenta quase 60%. Além disso, a Tencent Hunyuan também oferece uma versão de 4bit adequada para implantação em servidores, que pode ser transformada em uma API para ser chamada por vários usuários ou aplicações.