AMD lanza el modelo de gran escala Instella-MoE completamente de código abierto, con 16 mil millones de parámetros

AMD lanzó el 25 de julio el modelo de expertos híbrido completamente de código abierto Instella-MoE, que cuenta con un total de 16 mil millones de parámetros, activando 2.8 mil millones de parámetros por token, ofreciendo un rendimiento líder. Este modelo se entrenó desde cero utilizando las GPU AMD Instinct MI300X y MI325X, así como la pila de software ROCm, incorporando innovaciones arquitectónicas como Gated Multi-head Latent Attention y FarSkip-Collective, lo que mejora la eficiencia del entrenamiento y la inferencia. Las pruebas de rendimiento muestran que el modelo base Instella-MoE-16B-A3B obtuvo una puntuación promedio de 76.7, posicionándose como líder entre los modelos de código abierto, superando a modelos como SmolLM3-3B y OLMo-3-7B, y compitiendo con modelos de mayor escala mientras solo activa 2.8 mil millones de parámetros. Este modelo admite el procesamiento de contextos largos de 64K tokens y completa un flujo de entrenamiento integral que incluye preentrenamiento, entrenamiento intermedio, expansión de contexto largo, ajuste fino supervisado, optimización de preferencias directas y aprendizaje por refuerzo. AMD también ha hecho públicos todos los pesos del modelo Instella-MoE, la configuración de entrenamiento, la proporción de datos, los puntos de control intermedios y el código de inferencia, promoviendo la investigación y reproducción de modelos de IA abiertos. AMD afirma que Instella-MoE demuestra la capacidad de entrenar modelos de gran escala de MoE basados en hardware AMD y un ecosistema de software abierto, y continuará avanzando en el desarrollo de modelos de lenguaje de código abierto con mayor escala, mayor capacidad de inferencia y mayor eficiencia.

Aviso legal: Este contenido se brinda únicamente con fines informativos y de marca, y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Ningún evento, recompensa, evento en línea o información relacionada que se mencione aquí debe considerarse una recomendación, solicitud o invitación para comprar, vender, intercambiar u operar de cualquier otra forma con criptoactivos ni para utilizar ningún servicio. Los criptoactivos son altamente volátiles y pueden generar pérdidas. Los servicios y eventos en línea de WEEX pueden no estar disponibles en todas las regiones y están sujetos a las leyes, regulaciones y requisitos de elegibilidad aplicables. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con criptomonedas.