Ramp Labs présente une solution de partage de mémoire multi-agents permettant de réduire la consommation de jetons jusqu'à 65 %

BlockBeats News, 11 avril : Ramp Labs, une entreprise spécialisée dans les infrastructures d'IA, a publié les résultats d'une étude intitulée « Latent Briefing », qui permet un partage efficace de la mémoire entre des systèmes multi-agents grâce à la compression directe du cache KV de modèles à grande échelle, réduisant ainsi considérablement la consommation de tokens sans compromettre la précision.

Dans les architectures multi-agents classiques, l'Orchestrator décompose les tâches et fait appel à plusieurs reprises aux modèles Worker. À mesure que la chaîne d'inférence s'allonge, l'utilisation des jetons augmente de manière exponentielle. L'idée centrale de Latent Briefing consiste à exploiter le mécanisme d'attention pour identifier les éléments véritablement essentiels du contexte et éliminer directement les informations redondantes au niveau de la représentation, plutôt que de s'appuyer sur un résumé généré par un modèle de langage de grande capacité (LLM), souvent lent, ou sur une recherche RAG, souvent instable.

Lors du test de performance LongBench v2, cette méthode a obtenu des résultats remarquables : La consommation de jetons du modèle « Worker » a diminué de 65 % ; l'économie médiane de jetons pour les documents de longueur moyenne (32 000 à 100 000 caractères) a atteint 49 % ; la précision globale s'est améliorée d'environ 3 points de pourcentage par rapport à la référence ; et le temps supplémentaire nécessaire pour chaque compression n'était que d'environ 1,7 seconde, ce qui représente un gain de vitesse d'environ 20 fois par rapport à l'algorithme d'origine.

L'expérience a utilisé Claude Sonnet 4 comme orchestrateur et Qwen3-14B comme modèle de traitement, couvrant divers types de documents tels que des articles universitaires, des documents juridiques, des romans et des rapports gouvernementaux. L'étude a également révélé que le seuil de compression optimal varie en fonction de la difficulté de la tâche et de la longueur du document : les tâches difficiles se prêtent à une compression intensive afin d'éliminer le bruit lié au raisonnement spéculatif, tandis que les documents longs se prêtent davantage à une compression modérée afin de conserver les informations clés dispersées.