Tencent Mhyuan lanza versiones comprimidas de Hy3 de 1bit y 4bit

Tencent Mhyuan ha lanzado versiones comprimidas de 1bit y 4bit de Hy3, lo que reduce significativamente la barrera de implementación del modelo de 295 mil millones de parámetros. El peso original de Hy3 es de casi 600GB, mientras que la versión de 1bit se reduce a 85.5GiB, lo que permite su funcionamiento con una sola tarjeta gráfica Nvidia H20 de 96GB. Al operar con una sola tarjeta, los usuarios deben desactivar algunas funciones de aceleración y acortar la longitud del texto procesado por el modelo. Al utilizar dos tarjetas gráficas H20, se puede activar la aceleración. La versión de 4bit tiene un tamaño de 169.9GiB y requiere al menos dos tarjetas H20; aunque ocupa más memoria, su rendimiento se asemeja más al del modelo original. Tencent Mhyuan ha declarado que la versión de 4bit se acerca al modelo original en términos de código, llamadas a herramientas, comprensión de textos largos y tareas de agente, mientras que la versión de 1bit solo presenta una ligera disminución. Con la aceleración de generación activada, la velocidad de la versión de 1bit aumenta aproximadamente un 50%, y la de 4bit cerca del 60%. Además, Tencent Mhyuan también ofrece una versión de 4bit adecuada para implementación en servidores, que puede ser utilizada como API para múltiples usuarios o aplicaciones.

Descargo de responsabilidad: Este contenido se proporciona únicamente con fines generales de desarrollo de marca e informativos y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, evento en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación para comprar, vender, tradear o negociar de cualquier otra forma con cualquier criptoactivo o para utilizar cualquier servicio. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. Es posible que los servicios de WEEX y los eventos en línea no estén disponibles en todas las regiones, así como que estén sujetos a las leyes, regulaciones y requisitos de elegibilidad vigentes. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con las criptomonedas.