AMD发布全开源MoE大模型Instella-MoE，参数规模达160亿

AMD于7月25日推出全开源混合专家模型Instella-MoE，拥有160亿总参数，每个Token激活28亿参数，具备领先性能。该模型基于AMD Instinct MI300X和MI325X GPU，以及ROCm软件栈从零训练完成，采用Gated Multi-head Latent Attention和FarSkip-Collective等架构创新，提升训练和推理效率。性能测试显示，Instella-MoE-16B-A3B基础模型平均得分76.7分，在全开源模型中排名领先，超越SmolLM3-3B、OLMo-3-7B等模型，并在仅激活28亿参数的情况下与更大规模模型竞争。该模型支持64K Token长上下文处理，完成预训练、中期训练、长上下文扩展、监督微调、直接偏好优化及强化学习等完整训练流程。AMD同步公开Instella-MoE全部模型权重、训练配置、数据配比、中间检查点及推理代码，推动开放AI模型研究与复现。AMD表示，Instella-MoE展示了基于AMD硬件和开放软件生态进行大规模MoE模型训练的能力，未来将继续推进更大规模、更强推理能力和更高效率的开源语言模型研发。

免责声明：本内容仅用于一般品牌传播与信息说明之目的，不构成任何金融、投资、法律或税务建议。文中提及的活动、奖励、线上活动或相关信息，不应被视为对购买、出售、交易任何加密资产，或使用任何服务的推荐、招揽或邀请。加密资产具有高波动性，并存在价值损失风险。WEEX 服务及线上活动的可用性可能因地区而异，并受当地适用法律法规及用户资格要求限制。部分活动可能不适用于某些司法辖区。您有责任确保访问及使用 WEEX 服务符合当地适用法律法规。在参与任何涉及加密资产的活动前，请充分评估相关风险。