AMD lança modelo MoE de código aberto Instella-MoE com 16 bilhões de parâmetros

A AMD lançou em 25 de julho o modelo de especialistas mistos de código aberto Instella-MoE, que possui um total de 16 bilhões de parâmetros, ativando 2,8 bilhões de parâmetros por token, apresentando desempenho de ponta. Este modelo foi treinado do zero com as GPUs AMD Instinct MI300X e MI325X, além da pilha de software ROCm, utilizando inovações arquitetônicas como Gated Multi-head Latent Attention e FarSkip-Collective, melhorando a eficiência de treinamento e inferência. Os testes de desempenho mostraram que o modelo básico Instella-MoE-16B-A3B obteve uma pontuação média de 76,7, liderando entre os modelos de código aberto, superando modelos como SmolLM3-3B e OLMo-3-7B, e competindo com modelos de maior escala, mesmo ativando apenas 2,8 bilhões de parâmetros. O modelo suporta processamento de contexto longo de 64K tokens e completa um fluxo de treinamento completo que inclui pré-treinamento, treinamento intermediário, extensão de contexto longo, ajuste fino supervisionado, otimização de preferências diretas e aprendizado por reforço. A AMD também divulgou todos os pesos do modelo Instella-MoE, configurações de treinamento, proporções de dados, pontos de verificação intermediários e código de inferência, promovendo a pesquisa e reprodução de modelos de IA abertos. A AMD afirmou que o Instella-MoE demonstra a capacidade de treinar modelos MoE em larga escala com hardware AMD e um ecossistema de software aberto, e continuará a avançar no desenvolvimento de modelos de linguagem de código aberto com maior escala, capacidade de inferência e eficiência.

Aviso: Este conteúdo é fornecido apenas para fins de divulgação e informação geral da marca e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, eventos online ou informações relacionadas mencionados neste documento não devem ser considerados uma recomendação, solicitação ou convite para comprar, vender, negociar ou de qualquer outra forma realizar transações com criptoativos ou usar quaisquer serviços. Criptoativos são altamente voláteis, e sua negociação pode resultar em perdas. Os serviços e eventos online da WEEX podem não estar disponíveis em todas as regiões e estão sujeitos às leis, regulamentos e requisitos de elegibilidade aplicáveis. É sua responsabilidade garantir que o uso dos serviços da WEEX esteja em conformidade com as leis locais e avaliar cuidadosamente os riscos antes de participar de quaisquer atividades relacionadas a criptomoedas.