NVIDIA presenta un plan de diseño colaborativo de memoria AI, aumentando el rendimiento de inferencia hasta 30 veces

NVIDIA ha anunciado que, a medida que aumenta la escala de los modelos de IA y se generalizan las aplicaciones de agentes inteligentes, la presión sobre la memoria de las GPU está aumentando, con un suministro de HBM que se está volviendo más ajustado y los precios en aumento. NVIDIA propone mejorar la eficiencia del uso de la memoria mediante un diseño colaborativo de GPU, CPU, red, almacenamiento y software, en lugar de simplemente aumentar la capacidad de memoria de la GPU. En concreto, NVIDIA comprime los pesos del modelo y el KV Cache utilizando el formato de baja precisión NVFP4, trasladando los contextos temporalmente inactivos a capas de almacenamiento de menor costo, y utiliza el despliegue distribuido de múltiples GPU para liberar espacio de HBM. En las pruebas de SemiAnalysis AgentX, el GB300 NVL72 alcanzó un rendimiento de inferencia por costo unitario hasta 10 veces superior en cargas de trabajo específicas en comparación con la plataforma H200; el Vera Rubin NVL72, en comparación con el GB300 NVL72, mostró un aumento máximo de 30 veces en el rendimiento de inferencia por costo unitario, mientras que la capacidad de HBM de una sola GPU solo aumentó aproximadamente un 3%.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.