Jensen Huang, Kimi K3 et une guerre open source imminente

Auteur : Kazk de Digital Life

Vous voulez savoir quelle est la chose la plus chaude et la plus discutée dans l'industrie de l'IA récemment ? C'est sans aucun doute une histoire qui relie quatre mots apparemment sans rapport : Jensen Huang, Anthropic, Kimi et open source. Voici l'histoire. Il y a quelques jours, le 24 juillet, Jensen Huang a publié son premier post sur X.

L'homme le plus en vue dans le cercle de l'IA a même enregistré un compte sur X pour publier cette lettre ouverte. Cette lettre s'intitule "Open Weights and American AI Leadership", soit "Poids ouverts et leadership américain en IA".

En gros, il dit que l'IA va transformer chaque industrie, propulser chaque entreprise et sera construite par chaque pays. Les modèles ouverts peuvent renforcer la sécurité, accélérer l'innovation et apporter une souveraineté technologique. Ce monde a besoin à la fois des modèles fermés les plus avancés et des modèles ouverts les plus avancés. Nous ne pouvons pas sanctionner les modèles open source. La raison pour laquelle Huang s'inquiète tant a en fait un contexte. Revenons 11 jours en arrière, un événement marquant s'est produit ce jour-là. Dans la nuit du 17 juillet, Kimi K3 a été officiellement lancé.

28 trillions de paramètres au total, 104 milliards de paramètres activés, capacités visuelles natives, contexte de 1 million de tokens.

Le plus important, c'est que Kimi a promis que les poids du modèle seraient officiellement open source le 27 juillet (c'est-à-dire hier soir).

C'est le premier modèle de niveau 3T open source au monde. Une équipe chinoise, avec des ressources de calcul loin d'être aussi abondantes, a créé quelque chose qui rivalise avec les modèles fermés les plus puissants au monde, tout en s'engageant à partager les poids avec le monde entier.

Cela a immédiatement changé l'atmosphère aux États-Unis. Le 22 juillet, Michael Kratsios, responsable du Bureau de la politique scientifique et technologique de la Maison Blanche, a publiquement accusé Kimi K3, affirmant que son développement avait utilisé une distillation à grande échelle de Claude Fable 5.

Cependant, ce qui est intéressant, c'est la section des commentaires. Vous pouvez voir les réactions du public.

Ensuite, le secrétaire au Trésor américain a ajouté de l'huile sur le feu en évoquant la liste noire commerciale et les sanctions.

La section des commentaires a alors complètement explosé.

Cette affaire a pris de l'ampleur, et une compétition qui était à l'origine centrée sur les capacités des modèles et la voie open source a rapidement été entraînée dans des questions de propriété intellectuelle, de sécurité nationale, de contrôle des exportations et de compétition technologique entre la Chine et les États-Unis. C'est à ce moment-là que Jensen Huang est intervenu.

Il a donné une interview, s'opposant publiquement à l'interdiction des modèles open source chinois.

Deux jours plus tard, il a publié son premier post sur X, envoyant une lettre ouverte à Washington, affirmant que les modèles ouverts sont essentiels pour l'innovation, la compétitivité, la sécurité et la souveraineté technologique des États-Unis. Vous ne pouvez pas interdire, vous ne pouvez pas sanctionner, nous devons encourager l'open source.

Pour être honnête, Huang se soucie vraiment de vendre des cartes. Ensuite, tout en bas, un long mur de logos a été affiché, et toute l'industrie technologique a commencé à faire la queue pour signer la lettre ouverte. Au moment de la publication de la lettre, 25 entreprises et organisations avaient signé.

NVIDIA, Microsoft, Meta, IBM, Dell, Palantir, Mistral, Hugging Face, etc.

À la fin de la semaine, la liste a commencé à s'allonger de manière folle.

OpenAI est arrivé, Google est arrivé, SpaceX est arrivé, AMD, Cisco, Cloudflare, GitHub, Linux Foundation, Mozilla, Vercel, Y Combinator, OpenClaw, etc., tous sont venus.

Au moment où j'écris cet article, il y a déjà 77 signataires.

De nombreux grands noms ont également exprimé leur soutien.

Cela fait longtemps que nous n'avons pas vu une telle mobilisation, une telle révolte, un tel esprit de solidarité. Mais si vous regardez attentivement, vous remarquerez que le mur de logos ci-dessus rassemble presque toutes les entreprises technologiques de pointe des États-Unis, même NVIDIA et AMD sont côte à côte, mais vous remarquerez qu'il manque un nom familier. Anthropic. Je pense que ce tableau célèbre pourrait être renommé "Où est Anthropic ?". Même un internaute a fait une vidéo humoristique à ce sujet, ce qui m'a fait rire aux larmes, je dois vous montrer. Suivi

Alors qu'Anthropic faisait le mort, les géants de la technologie américaine se sont unis pour se soulever sur Twitter. Le déclencheur de cet événement a été l'annonce officielle de l'open source de Kimi K3, qui a eu lieu hier soir, le 27 juillet à 23h13.

Et le niveau d'open source a largement dépassé mes attentes. Je pensais que ce serait juste les poids du modèle open source.

En fait.

Les poids du modèle sont open source.

Un rapport technique détaillé a également été publié.

Les infrastructures clés utilisées pour entraîner K3 sont également open source.

Tout est ouvert...

Je vais énumérer quelques éléments.

Les poids du modèle Kimi K3, un modèle MoE de 28 trillions de paramètres, avec 896 experts, chacun activant 16 tokens.

Ensuite, le rapport technique complet de K3, qui compte 47 pages.

Ce rapport contient des détails sur l'architecture de KDA et des résidus d'attention, expliquant comment ils mélangent KDA et Gated MLA dans un rapport de 3 pour 1, et comment faire circuler l'information à travers des dizaines de couches.

Il y a aussi Stable LatentMoE.

896 experts n'activent que 16, un degré de rareté extrêmement élevé, Kimi a également utilisé SiTU GLU, Quantile Balancing et toute une série de méthodes pour maintenir cet entraînement extrêmement rare dans un état stable.

Il y a aussi MoonViT V2, une infrastructure d'apprentissage par renforcement pour un contexte de million de tokens, la synthèse de tâches à grande échelle, des méthodes de post-formation, et presque 20 ensembles d'évaluation internes complets ont également été publiés.

Ce rapport technique est très détaillé et solide, je le recommande vivement.

En plus du rapport technique, il y a aussi les technologies infra clés open source.

MoonEP, une bibliothèque de communication parallèle pour experts spécialement conçue pour les MoE à très grande échelle.

Lors de l'entraînement de MoE, il arrive souvent que certains experts soient débordés de travail tandis que d'autres ne font rien, et finalement, tous les GPU doivent attendre la carte la plus occupée.

MoonEP va, en fonction des résultats de routage actuels, dupliquer dynamiquement une petite partie des experts populaires, de sorte que chaque carte reçoive exactement le même nombre de tokens, tout en maintenant une forme de mémoire statique, évitant que l'entraînement ne devienne de plus en plus fragmenté et finisse par provoquer un OOM.

Cela fait déjà partie des éléments très fondamentaux et très précieux dans l'entraînement de modèles de très grande taille.

FlashKDA, un opérateur haute performance de Kimi Delta Attention. Il est réalisé avec CUTLASS et, sur le H20 de NVIDIA, par rapport à la base de référence de l'attention linéaire flash, la vitesse de pré-remplissage a été améliorée de 1,85 à 2,31 fois, et il peut également être directement intégré dans l'arrière-plan de l'attention linéaire flash existant.

Ensuite, il y a AgentENV.

C'est un système de bac à sable distribué pour agents développé par Kimi et KVCache.ai, et c'est la véritable base sur laquelle K3 exécute des environnements pour l'apprentissage par renforcement à grande échelle.

Il peut démarrer simultanément un grand nombre de micro-machines virtuelles Firecracker sur plusieurs machines, avec un temps de récupération de l'environnement inférieur à 50 millisecondes et une pause inférieure à 100 millisecondes, tout en prenant en charge nativement les instantanés, la récupération et le fork.

Un agent qui atteint un certain point clé peut directement se diviser en plusieurs trajectoires non-interférentes et continuer à explorer en parallèle.

Bien que je ne sois pas très au fait des technologies sous-jacentes et que je n'aie que des connaissances superficielles, je peux déjà sentir l'enthousiasme à travers ces technologies.

C'est vraiment le fond du panier.

MoonEP résout la communication et la charge des modèles MoE de très grande taille.

FlashKDA résout l'efficacité des opérateurs dans les nouvelles architectures d'attention.

AgentENV résout le besoin d'environnements réels massifs pour l'apprentissage par renforcement des agents.

La communauté open source est prête à décoller.

Aujourd'hui, je suis prêt à appeler Kimi et DeepSeek les deux saints de l'open source.

J'ai également lu la licence de Kimi K3.

Les chercheurs, développeurs et entreprises ordinaires peuvent l'utiliser, le copier, le modifier, le déployer, le peaufiner et le distribuer gratuitement, et peuvent également créer des produits dérivés et commercialiser.

Il a seulement laissé deux seuils pour une utilisation commerciale à très grande échelle.

Si vous faites des affaires de services de modèles et que votre entreprise et ses parties liées ont un revenu total de plus de 20 millions de dollars pendant 12 mois consécutifs, vous devez signer un accord avec le côté obscur de la lune.

Si l'utilisation des produits commerciaux de K3 dépasse 100 millions d'utilisateurs actifs par mois, ou si le revenu d'un mois dépasse 20 millions de dollars, l'interface du produit doit afficher de manière significative Kimi K3.

Oui, il suffit d'afficher de manière significative Kimi K3.

Oh mon dieu...

Certaines personnes ont déjà dit que si Kimi K3 pouvait lui rapporter 20 millions de dollars en un mois, il ne s'agirait pas seulement d'afficher le logo de Kimi K3.

Il pourrait se faire tatouer le logo de Kimi sur les fesses, voire en faire deux.

Ce soir, avec l'open source de Kimi K3, je sens que tout l'événement a atteint son apogée, l'opinion publique est presque unanime.

Cela a également créé l'histoire dans Hugging Face.

À ce moment-là, l'attitude des États-Unis et l'open source de Kimi K3 ont eu une réaction chimique incroyable.

À l'avenir, cet événement pourrait être historiquement appelé :

L'incident de Sarajevo dans l'industrie de l'IA.

Ce monde a besoin d'open source.

Les personnes comme Huang et son équipe embrassent l'open source, bien sûr, en plus de l'idéal, il y a aussi beaucoup d'odeur d'argent.

En 2002, Joel Spolsky a écrit une règle commerciale classique, appelée Commoditize Your Complements, transformer vos produits complémentaires en marchandises. Plus les produits complémentaires d'une chose sont bon marché, plus la demande pour cette chose augmente.

NVIDIA vend des GPU.

Plus il y a de modèles open source, plus il y a d'entreprises dans le monde prêtes à déployer, peaufiner et entraîner elles-mêmes, et plus elles auront besoin de GPU.

AMD, Dell, entreprises de cloud computing, fournisseurs de services d'inférence, la logique est à peu près la même.

Des outils de développement et des plateformes d'application comme GitHub, Vercel, Replit, LangChain, OpenClaw espèrent également que les modèles sous-jacents deviennent de plus en plus nombreux, de moins en moins chers et de plus en plus faciles à remplacer.

Parce que chaque fois que le coût d'un modèle diminue d'un dollar, l'application a un espace supplémentaire d'un dollar.

Huang croit fermement en l'open source, et il est l'un des plus grands bénéficiaires des modèles open source, ces deux choses ne sont pas en conflit. Mais je crois fermement et j'embrasse également l'open source. La raison est très simple, parce que je suis une personne ordinaire. Dans ma vie, je ne pourrai probablement jamais entraîner un modèle comme K3, je n'ai pas des milliers de cartes, je ne comprends rien, les formules dans les rapports techniques, je ne peux que les comprendre un peu grâce à l'IA. Mais cela ne m'empêche pas, aujourd'hui, de créer mes propres œuvres en me basant sur le travail, les cadres et les modèles open source de nombreux prédécesseurs. Les gens ordinaires peuvent participer à chaque révolution technologique, grâce à ces ancêtres qui ont voulu laisser la ligne d'arrivée pour que les générations futures puissent commencer. Nous ne sommes pas devenus des génies du jour au lendemain.

Nous avons simplement évité de repartir de zéro.

La véritable puissance de l'open source réside ici.

Quelque chose qu'une équipe a obtenu après avoir dépensé une énorme puissance de calcul et que de nombreux grands noms ont mis beaucoup de temps à obtenir, une fois rendu public, le lendemain, cela devient le point de départ public de millions de personnes ordinaires dans le monde.

Je pense que c'est le rendement composé de la civilisation.

Enfin, je rends hommage à tous les grands noms qui ont contribué au monde humain, au monde open source et au monde de l'IA.

Je vous remercie.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.