Kog, capable de traiter 3000 tokens par seconde avec des GPU standards

La startup française Kog a annoncé une stratégie pour augmenter la vitesse d'inférence de l'IA sur des GPU de centres de données standards. Kog a adopté une approche qui conçoit à la fois le logiciel et la structure du modèle pour maximiser l'utilisation des GPU NVIDIA et AMD. Kog a déclaré avoir intégré le runtime, le noyau GPU et l'architecture du modèle dans un pipeline optimisé pour améliorer la vitesse de réponse aux demandes des agents IA. Selon un aperçu technologique du moteur d'inférence de Kog publié le 28 mai, il est capable de traiter 3000 tokens de sortie par seconde sur 8 GPU AMD MI300X, tandis que 8 GPU NVIDIA H200 dans les mêmes conditions ont enregistré 2100 tokens de sortie par seconde. Kog cible principalement les agents de codage IA et les workflows basés sur des agents. Le modèle Laneformer 2B, publié sur Hugging Face le 24 juin, possède 2,3 milliards de paramètres et a montré des performances de 45,1 % sur HumanEval+ et 51,6 % sur MBPP+. Kog a déclaré dans un post LinkedIn en août qu'il avait enregistré 2857 tokens par seconde lors d'une démonstration en direct. Cependant, il existe des controverses concernant l'interprétation des chiffres de vitesse, et il a également été souligné qu'il est difficile de faire des comparaisons en fonction de la taille du modèle et du matériel. L'objectif de Kog est d'assurer une faible latence sur l'infrastructure GPU existante.

Ce contenu est fourni à titre informatif uniquement et ne constitue pas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, promotions en ligne ou informations mentionnées ici ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, trader ou effectuer toute autre opération sur des actifs crypto. Les actifs crypto sont très volatils et peuvent entraîner des pertes. La disponibilité des services, produits et événements liés à WEEX peut varier selon les régions. Veuillez vous assurer que votre participation respecte les lois et réglementations locales applicables.