Jensen Huang, Kimi K3 e uma guerra de código aberto que se aproxima

Autor: Digital Life Kazik

Se você quer saber qual é a coisa mais quente e discutida na indústria de IA recentemente, é sem dúvida uma história que conecta quatro palavras aparentemente desconexas: Jensen Huang, Anthropic, Kimi e código aberto. A história é a seguinte: há alguns dias, em 24 de julho, Jensen Huang fez sua primeira postagem no X.

Esse homem, que pode ser o mais famoso no círculo de IA, não hesitou em registrar um X para publicar esta carta aberta. O título da carta é "Open Weights and American AI Leadership", que se traduz como "Pesos Abertos e a Liderança em IA dos EUA".

A ideia principal é que a IA transformará cada setor, impulsionará cada empresa e será construída por cada país. Modelos abertos podem reforçar a segurança, acelerar a inovação e trazer soberania tecnológica. Este mundo precisa tanto de modelos fechados de ponta quanto de modelos abertos de ponta. Não podemos sancionar modelos de código aberto. A razão pela qual Huang está tão preocupado tem um contexto. Vamos voltar no tempo 11 dias, quando um evento marcante ocorreu. Na madrugada de 17 de julho, Kimi K3 foi oficialmente lançado.

Com 28 trilhões de parâmetros totais, 104 bilhões de parâmetros ativados, capacidade visual nativa e contexto de 1 milhão de tokens.

O mais importante é que Kimi prometeu que os pesos do modelo seriam abertos em 27 de julho (ou seja, na noite passada).

Este é o primeiro modelo de nível 3T de código aberto do mundo. Uma equipe chinesa, com recursos computacionais muito limitados, criou algo que se aproxima da capacidade dos modelos fechados mais poderosos do mundo e ainda pretende entregar os pesos ao mundo.

Isso fez com que a atmosfera nos EUA mudasse. Em 22 de julho, Michael Kratsios, chefe do Escritório de Política Científica da Casa Branca, acusou publicamente a Kimi K3, alegando que seu desenvolvimento utilizou uma destilação em larga escala do Claude Fable 5.

Mas o interessante é a seção de comentários. Todos podem ver a voz do povo.

Então, o secretário do Tesouro dos EUA, em um momento infeliz, jogou mais lenha na fogueira, mencionando listas negras comerciais e sanções.

A seção de comentários ficou completamente dominada.

A situação só piorou, e uma competição que originalmente era sobre a capacidade do modelo e a rota de código aberto rapidamente foi arrastada para questões de propriedade intelectual, segurança nacional, controle de exportação e a competição tecnológica entre China e EUA. Nesse momento, Jensen Huang se manifestou.

Ele deu uma entrevista e se opôs publicamente à proibição de modelos de código aberto da China.

Dois dias depois, ele fez seu primeiro X, enviando uma carta aberta a Washington, afirmando que modelos abertos são fundamentais para a inovação, competição, segurança e soberania tecnológica dos EUA; não se pode proibir, não se pode sancionar, devemos incentivar o código aberto.

Para ser justo, Huang realmente se preocupou muito para vender suas placas. Então, na parte inferior, uma longa parede de logotipos foi exibida, e toda a indústria de tecnologia começou a assinar a carta aberta. Quando a carta foi publicada, 25 empresas e organizações já haviam assinado.

NVIDIA, Microsoft, Meta, IBM, Dell, Palantir, Mistral, Hugging Face, entre outros.

No final de semana, a lista começou a crescer rapidamente.

OpenAI veio, Google veio, SpaceX veio, AMD, Cisco, Cloudflare, GitHub, Linux Foundation, Mozilla, Vercel, Y Combinator, OpenClaw, etc., todos vieram.

Quando escrevi este artigo, já havia 77 signatários.

Além disso, inúmeras figuras proeminentes estavam apoiando a causa.

Fazia muito tempo que não víamos uma mobilização tão grande, unida contra um inimigo comum. Mas se você olhar atentamente, notará que a parede de logotipos acima quase reúne a maioria das empresas de tecnologia de ponta dos EUA, e até mesmo NVIDIA e AMD estão juntas, mas você notará que falta um nome familiar. Anthropic. Eu acho que essa famosa pintura mundial poderia ser renomeada para "Onde está a Anthropic?". Até mesmo um internauta fez um vídeo engraçado sobre isso, e eu ri muito, preciso mostrar a todos.

Enquanto a Anthropic fingia de morta, os gigantes da tecnologia dos EUA se uniram em uma revolta no Twitter. O estopim deste evento foi, na noite de 27 de julho, às 23h13, quando foi oficialmente anunciado que o Kimi K3 seria de código aberto.

E o nível de abertura superou minhas expectativas. Eu pensei que seria apenas a abertura dos pesos do modelo.

Mas não.

Os pesos do modelo foram abertos.

Um relatório técnico detalhado também foi divulgado.

A infraestrutura chave usada para treinar o K3 também foi aberta.

Tudo foi aberto...

Vou listar algumas coisas.

Os pesos do modelo Kimi K3, um modelo MoE com 28 trilhões de parâmetros, possui 896 especialistas, e cada token ativa 16 deles.

Depois, o relatório técnico completo do K3, com 47 páginas.

Dentro dele, são divulgados os detalhes da arquitetura do KDA e dos Resíduos de Atenção, explicando como eles misturam KDA e MLA Gated em uma proporção de 3 para 1, e como a informação flui através de várias camadas.

Além disso, o Stable LatentMoE.

Os 896 especialistas ativam apenas 16, com um grau de esparsidade extremamente alto; Kimi também usou SiTU GLU e Quantile Balancing para manter esse treinamento esparso em um estado estável.

Além disso, MoonViT V2, infraestrutura de aprendizado por reforço com contexto de um milhão de tokens, síntese de tarefas em larga escala, métodos de pós-treinamento, e resultados completos de quase 20 conjuntos de avaliação interna também foram divulgados.

Este relatório técnico é muito detalhado e sólido, recomendo a leitura.

Além do relatório técnico, também há a tecnologia infra chave de código aberto.

MoonEP, uma biblioteca de comunicação paralela de especialistas projetada para MoEs de grande escala.

Durante o treinamento do MoE, frequentemente ocorre que alguns especialistas estão sobrecarregados enquanto outros estão ociosos, e no final, todas as GPUs têm que esperar pela mais ocupada.

O MoonEP irá, com base nos resultados de roteamento atuais, replicar dinamicamente uma pequena parte dos especialistas populares, garantindo que cada GPU receba a mesma quantidade de tokens, enquanto mantém a forma da memória estática, evitando que o treinamento se torne fragmentado e, por fim, cause OOM.

Isso já pertence a algo muito valioso e fundamental no treinamento de modelos de grande escala.

FlashKDA, um operador de alto desempenho do Kimi Delta Attention. Ele é implementado com CUTLASS e, no H20 da NVIDIA, em comparação com a linha de base do Flash Linear Attention, a velocidade de pré-preenchimento aumentou de 1,85 a 2,31 vezes, e pode ser diretamente integrado ao backend existente do Flash Linear Attention.

Mais adiante, temos o AgentENV.

Este é um sistema de sandbox distribuído para agentes desenvolvido em conjunto por Kimi e KVCache.ai, e é a base real para a execução de ambientes durante o aprendizado por reforço em larga escala do K3.

Ele pode iniciar uma enorme quantidade de micro máquinas virtuais Firecracker em várias máquinas simultaneamente, com recuperação de ambiente abaixo de 50 milissegundos, pausa abaixo de 100 milissegundos, e suporta nativamente instantâneas, recuperação e fork.

Um agente que chega a um ponto crítico pode se bifurcar em dezenas de trajetórias não interferentes, continuando a explorar em paralelo.

Embora eu não tenha muito conhecimento sobre tecnologia de base, apenas algumas noções superficiais, a partir dessas tecnologias, já consigo sentir que é realmente impressionante.

É realmente uma revelação.

MoonEP resolve a comunicação e a carga de trabalho de modelos MoE de grande escala.

FlashKDA resolve a eficiência dos operadores na nova arquitetura de atenção.

AgentENV resolve a necessidade de ambientes reais em grande escala para o aprendizado por reforço de agentes.

A comunidade de código aberto está prestes a decolar.

Hoje, estou disposto a chamar Kimi e DeepSeek de os dois santos do código aberto.

Eu também li sobre a licença do Kimi K3.

Pesquisadores, desenvolvedores e empresas comuns podem usar, copiar, modificar, implantar, ajustar, distribuir gratuitamente, e também podem criar produtos derivados e comercializá-los.

Ele apenas deixou duas barreiras para o uso comercial em grande escala.

Se você estiver no negócio de serviços de modelo e a receita total da empresa e partes relacionadas exceder 20 milhões de dólares em 12 meses consecutivos, precisará assinar um acordo separado com a "Face da Lua".

Se o produto comercial que usa o K3 tiver mais de 100 milhões de usuários ativos mensais ou uma receita mensal superior a 20 milhões de dólares, a interface do produto deve exibir de forma significativa o Kimi K3.

Sim, deve exibir de forma significativa o Kimi K3.

Oh, meu Deus...

Já houve quem dissesse que, se o Kimi K3 puder lhe trazer uma receita mensal de 20 milhões de dólares, não apenas exibirá o logotipo do Kimi K3 de forma significativa.

Ele pode tatuar o logotipo do Kimi em seu traseiro, e até mesmo fazer duas tatuagens.

Hoje à noite, com a abertura do Kimi K3, sinto que todo o evento foi levado ao seu clímax, e a opinião pública está praticamente unânime.

Também criou história no Hugging Face.

Neste momento, a atitude dos Estados Unidos e a abertura do Kimi K3 tiveram uma reação química mágica.

No futuro, isso pode ser conhecido como:

O evento de Sarajevo da indústria de IA.

Este mundo precisa de código aberto.

O velho Huang e sua equipe abraçam o código aberto, e claro, além do ideal, há também um forte aroma de dinheiro.

Em 2002, Joel Spolsky escreveu uma regra comercial clássica chamada Commoditize Your Complements, transforme seus complementos em mercadorias. Quanto mais baratos forem os complementos de um produto, maior será a demanda por esse produto.

A NVIDIA vende GPUs.

Quanto mais modelos de código aberto houver, mais empresas em todo o mundo estarão dispostas a implantar, ajustar e treinar por conta própria, e, por fim, mais GPUs serão necessárias.

AMD, Dell, empresas de computação em nuvem, provedores de serviços de inferência, a lógica é a mesma.

Ferramentas de desenvolvimento e plataformas de aplicativos como GitHub, Vercel, Replit, LangChain e OpenClaw também desejam naturalmente que os modelos de base sejam cada vez mais numerosos, mais baratos e mais fáceis de substituir.

Porque cada vez que o custo do modelo cai um dólar, a camada de aplicação ganha um espaço adicional de um dólar.

O velho Huang acredita firmemente no código aberto, e ele é um dos maiores beneficiários de modelos de código aberto, essas duas coisas não são conflitantes. Mas eu acredito firmemente e também abraço o código aberto. A razão é muito simples, porque sou uma pessoa comum. Nesta vida, talvez eu nunca consiga treinar um modelo como o K3, não tenho milhares de placas, não entendo nada, e os fórmulas nos relatórios técnicos eu só consigo entender um pouco com a ajuda da IA. Mas isso não me impede de, hoje, construir minha própria obra sobre o trabalho, estruturas e modelos de código aberto de muitos predecessores. Pessoas comuns podem participar de cada revolução tecnológica, graças àqueles que vieram antes, que deixaram o ponto final para as gerações futuras, como um ponto de partida. Não nos tornamos de repente gênios.

Nós apenas não precisamos começar do zero novamente.

O verdadeiro poder do código aberto está aqui.

Algo que uma equipe gastou enorme poder computacional e muitos grandes nomes levaram muito tempo para obter, uma vez que é tornado público, no dia seguinte se tornará o ponto de partida público para inúmeras pessoas comuns em todo o mundo.

Eu acho que isso é o juro composto da civilização.

Por fim, rendo minha mais alta homenagem a todos os grandes nomes que contribuíram para o mundo humano, o mundo do código aberto e o mundo da IA.

Obrigado a todos vocês.

Este conteúdo é fornecido apenas para fins informativos gerais e não constitui aconselhamento financeiro, de investimento, jurídico ou tributário. Quaisquer eventos, recompensas, promoções online ou informações relacionadas mencionadas neste documento não devem ser consideradas uma recomendação, solicitação ou convite para comprar, vender, negociar ou realizar qualquer outra transação com criptoativos. Criptoativos são altamente voláteis e podem resultar em perdas. A disponibilidade dos serviços, produtos e eventos relacionados da WEEX pode variar conforme a região. É de sua responsabilidade garantir que sua participação esteja em conformidade com as leis e regulamentações locais aplicáveis.