Tencent Hunyuan lanza versiones comprimidas de Hy3 de 1bit y 4bit

Tencent Hunyuan ha lanzado versiones comprimidas de Hy3 de 1bit y 4bit, lo que reduce significativamente el umbral de implementación del modelo de 295 mil millones de parámetros. El peso original de Hy3 es de casi 600GB, mientras que la versión de 1bit se reduce a 85.5GiB, lo que permite su ejecución en una sola tarjeta gráfica NVIDIA H20 de 96GB. Al operar con una sola tarjeta, los usuarios deben desactivar algunas funciones de aceleración y acortar la longitud del texto procesado por el modelo. Al utilizar dos tarjetas gráficas H20, se puede activar la aceleración. La versión de 4bit tiene un tamaño de 169.9GiB y requiere al menos dos tarjetas H20; aunque ocupa más memoria, su rendimiento se asemeja más al del modelo original. Tencent Hunyuan ha indicado que la versión de 4bit se acerca al modelo original en cuanto a código, llamadas a herramientas, comprensión de textos largos y tareas de agente, mientras que la versión de 1bit solo presenta una ligera disminución. Con la aceleración de generación activada, la versión de 1bit mejora su velocidad en aproximadamente un 50%, y la de 4bit en casi un 60%. Además, Tencent Hunyuan también ha proporcionado una versión de 4bit adecuada para implementación en servidores, que puede ser utilizada como API para múltiples usuarios o aplicaciones.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.