Entrevista reciente de SemiAnalysis: el almacenamiento aún tiene espacio para duplicarse, se debe tener precaución con el CPO a corto y medio plazo, la CPU es solo un actor secundario

Fuente: Wall Street Watch

Cada capa de la infraestructura de IA está bajo presión simultáneamente, coexistiendo oportunidades y errores de juicio.

Dylan Patel, fundador de SemiAnalysis, fue entrevistado recientemente en un pódcast, donde analizó sistemáticamente las dinámicas centrales y la lógica de inversión en la actual pila de infraestructura de IA.

Sus juicios abarcan la economía de modelos, el superciclo de memoria, la revalorización de la CPU, los riesgos en la línea de tiempo del CPO, así como las oportunidades estructurales en el suministro de energía de los centros de datos.

En respuesta a las dudas generales del mercado sobre el retorno de inversión (ROI) en IA, Dylan reveló que Anthropic logró un flujo de caja libre positivo en el segundo trimestre de este año, con ingresos recurrentes anuales superando los 50 mil millones de dólares y un margen bruto superior al 70%. En el lado empresarial, el reciente aumento de productividad traído por los nuevos modelos de IA supera con creces el aumento en los costos de computación, lo que lleva a las empresas a recortar otros gastos en software para mantener un presupuesto explosivo en IA.

En el ámbito de la evolución del hardware, la transición hacia modelos de inferencia está reconfigurando la demanda del mercado.

Dylan enfatizó que el almacenamiento enfrenta una escasez estructural que podría durar varios años, con un potencial de crecimiento de 2 a 3 veces; al mismo tiempo, aunque los agentes y el aprendizaje reforzado han incrementado la demanda de CPU, el mercado de vendedores ha fijado precios demasiado altos, el crecimiento de la CPU proviene principalmente de un "ajuste histórico", y su valor absoluto en los servidores de IA sigue siendo muy inferior al de las GPU.

Dylan considera que la esperada implementación a gran escala de la óptica de co-empaquetado (CPO) se ha pospuesto claramente hasta finales de 2028 o principios de 2029, lo que ha extendido inesperadamente el período de bonanza para los conectores de cobre. Además, las limitaciones en la red de transmisión y distribución están obligando a los centros de datos a recurrir a "fuentes de energía detrás del medidor" (fuentes de energía autoconstruidas), creando oportunidades de inversión masivas en la cadena de suministro de energía industrial y conversión eléctrica, más allá de la inversión tradicional en chips.

Anthropic lidera la generación de ingresos, la narrativa de la demanda de IA comienza a materializarse

En respuesta a las dudas sobre el ROI de las empresas de IA en el mercado, Dylan Patel proporcionó datos concretos.

"Anthropic ya ha logrado un flujo de caja libre positivo en el segundo trimestre, con ganancias en abril, mayo y parece que junio también será similar," dijo. Añadió que los ingresos recurrentes anuales de Anthropic han superado los 50 mil millones de dólares, con un margen bruto superior al 70%. Los ingresos de OpenAI también han crecido rápidamente con el aumento en la adopción de Codex.

La trayectoria de gastos de SemiAnalysis también respalda esta tendencia. En noviembre pasado, el equipo de 90 personas de la empresa tenía un gasto anual en IA de menos de 100,000 dólares; para finales de enero de este año, debido a la expansión masiva de Claude Code, esta cifra se disparó a 4 millones de dólares anuales; actualmente ha alcanzado los 11 millones de dólares, con un pico que llegó a 14 millones de dólares anuales. "El costo de los empleados más el costo de IA ya supera un tercio, y es probable que alcance la mitad antes de fin de año."

También señaló que los modelos más nuevos y potentes no necesariamente son más caros en la práctica. Un modelo antiguo puede requerir 100,000 tokens y 10 interacciones para completar una tarea, mientras que un nuevo modelo puede necesitar solo 25,000 tokens y 1 interacción. "Cada vez que un modelo pasa de 4.6 Opus a 4.7 Opus, nuestros gastos bajan durante una semana y luego vuelven a dispararse, porque todos ven que cosas que antes no podían hacerse ahora son posibles."

Considera que esta es también una de las razones clave por las que Anthropic tiene ventaja en la competencia con OpenAI: mayor eficiencia de tokens y costos generales más bajos para los usuarios.

Memoria: escasez estructural, no un ciclo ordinario

Entre todas las categorías de hardware, Dylan Patel tiene la opinión más firme sobre la memoria.

"No es una escasez a corto plazo, es una escasez estructural que durará años." Señaló que la capacidad de producción de memoria solo crece entre un 20% y un 30% al año, mientras que la demanda del lado de IA está duplicándose y volviendo a duplicarse, lo que ampliará continuamente la brecha entre ambos.

La lógica central que impulsa este juicio proviene del impacto de los modelos de inferencia en la caché KV. La longitud del contexto en la inferencia conversacional tradicional se mide en miles de tokens, consumiendo la caché KV de manera limitada; pero con la aparición de modelos de inferencia como o1, la longitud del contexto ha crecido explosivamente, lo que ha llevado a una expansión drástica de la caché KV, convirtiendo la memoria en la categoría más beneficiada. SemiAnalysis publicará un informe en diciembre de 2024 que señala específicamente esta tendencia.

Las restricciones rígidas del lado de la oferta obligarán al mercado descendente a redistribuir los limitados recursos de memoria. Predice que los productos electrónicos de consumo con baja elasticidad de precios serán los primeros en verse presionados: las ventas de fabricantes de teléfonos móviles de gama media y baja han caído un 40%, y los precios del iPhone y MacBook aumentarán el próximo año. "La memoria seguirá subiendo de precio, y los productos electrónicos de consumo se verán comprimidos a un nuevo nivel, hasta que la IA obtenga la memoria que necesita, no se considerará suficiente."

Añadió que incluso si eventualmente llega un ciclo a la baja, "el crecimiento a largo plazo es indiscutible, desde el valle hasta el valle."

CPU: oportunidades limitadas, no extrapolar en exceso

La CPU ha emergido como un nuevo protagonista en la narrativa de infraestructura de IA este año, pero Dylan Patel tiene una postura clara de advertencia al respecto.

La lógica de la recuperación de la demanda de CPU es clara: el aprendizaje reforzado requiere una gran cantidad de CPU para ejecutar validaciones de entorno (pruebas de unidades de código, simulaciones, etc.); la inferencia de agentes requiere que los modelos llamen frecuentemente a herramientas e interactúen con el mundo real, operaciones que dependen en gran medida de la potencia de la CPU.

Al mismo tiempo, en los últimos años, se han enviado a gran escala chips de IA, y la CPU ha estado gravemente subestimada, actualmente se encuentra en una fase de ajuste concentrado, ARM, Intel y AMD se han beneficiado, y la CPU Vera de Nvidia también ha dado una guía de ingresos de 20 mil millones de dólares.

"Pero quiero dar una advertencia importante: hay un gran efecto de ajuste aquí." Dijo que una vez que se complete el ajuste histórico, solo quedará la demanda incremental, y la demanda volverá a la normalidad. En términos de montos absolutos, Blackwell cuesta alrededor de 50,000 dólares por unidad, mientras que la CPU cuesta alrededor de 5,000 dólares; incluso si se asignan más CPUs en proporción, el monto en dólares sigue siendo muy inferior al de los chips aceleradores de IA.

"La memoria y los chips aceleradores de IA son lo más importante, la CPU es una revalorización tras ser subestimada, ahora ya tiene un precio más razonable, pero no crecerá indefinidamente a un ritmo superior al de los chips de IA."

Interconexión óptica: optimismo a largo plazo, precaución a corto y medio plazo con el CPO

Las interconexiones de red y ópticas son otro campo donde el sentimiento del mercado es alto, pero Dylan Patel tiene una actitud cautelosa hacia el ritmo de implementación del CPO (óptica de co-empaquetado).

"La producción a gran escala del CPO, mi juicio es que será entre finales de 2028 y principios de 2029." Señaló que actualmente, la tasa de rendimiento de fabricación, el diseño de chips y la madurez de la cadena de suministro no han alcanzado los estándares para un despliegue a gran escala, y la arquitectura Rubin de Nvidia y su sucesora Feynman seguirán utilizando soluciones completamente de cobre, el CPO en el lado de la GPU aún necesita esperar varias generaciones de iteraciones de chips.

Reveló que SemiAnalysis acaba de publicar un informe para sus clientes suscriptores institucionales, y a medio plazo, es más optimista sobre los cables de cobre y las soluciones ópticas no CPO, manteniendo una actitud cautelosa hacia el CPO. Algunos cambios en el diseño de chips descendentes (como el diseño de 800V del Rubin Ultra que ha sido eliminado) han retrasado aún más el tiempo de implementación del CPO. Empresas como Amphenol, que fabrican conectores de cobre, se beneficiarán más de lo esperado.

"El CPO ocurrirá a largo plazo, los cables de cobre serán reemplazados a largo plazo, pero la línea de tiempo se ha retrasado, y a corto y medio plazo, los cables de cobre aún tienen grandes oportunidades."

Energía: las fuentes de energía autoconstruidas se convertirán en la norma, múltiples caminos de innovación

El suministro de energía de los centros de datos se está convirtiendo en la restricción física más dura para el crecimiento de la IA.

Según las predicciones de Dylan Patel, el consumo de energía de los nuevos centros de datos será de 20 GW este año, 30 GW el próximo año y 50 GW el año siguiente, con un crecimiento casi explosivo.

Desglosó el problema energético en tres dimensiones: transmisión, generación y conversión. La transmisión es el eslabón más difícil de superar, involucrando políticas regulatorias, la estructura de monopolio de las compañías eléctricas locales y mecanismos de distribución de costos, que son difíciles de cambiar a corto plazo. La generación y conversión, por otro lado, ofrecen amplias oportunidades.

Predice que en los próximos años, la mitad del consumo de energía de los nuevos centros de datos provendrá de "fuentes de energía detrás del medidor", es decir, fuentes de energía autoconstruidas por las empresas, en lugar de depender de la red eléctrica pública.

La solución principal en este momento es la planta de ciclo combinado de gas (CCGT), proveniente de empresas como GE Vernova, Mitsubishi y Siemens; también han surgido soluciones no tradicionales como motores de pistón, turbinas de gas industriales e incluso motores modificados de barcos, trenes y camiones. "Suena tosco, pero funciona, y ya se está utilizando."

A más largo plazo, estima que en aproximadamente dos años, el costo total de la energía solar más almacenamiento será inferior al de la generación de energía a gas; y en un futuro más lejano, se prevé que los centros de datos en el espacio desplieguen chips de computación en órbita, donde los paneles solares no necesitan atravesar la atmósfera, con una densidad de energía mucho mayor que en la superficie, y sin necesidad de almacenamiento.

El lado de la conversión también está lleno de oportunidades de inversión, desde IGBT, carburo de silicio hasta MOSFET de nitruro de galio, así como transformadores sólidos, UPS y supercapacitores, toda la cadena de conversión de voltaje está evolucionando rápidamente.

Actualmente, el departamento de investigación más grande de SemiAnalysis ya no es el de semiconductores, sino su equipo interno llamado "DEI" (centros de datos, energía e industria), que rastrea la dinámica de despliegue de cada centro de datos y planta de generación de energía en el mundo.

Descargo de responsabilidad: Este contenido se proporciona únicamente con fines generales de desarrollo de marca e informativos y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, evento en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación para comprar, vender, tradear o negociar de cualquier otra forma con cualquier criptoactivo o para utilizar cualquier servicio. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. Es posible que los servicios de WEEX y los eventos en línea no estén disponibles en todas las regiones, así como que estén sujetos a las leyes, regulaciones y requisitos de elegibilidad vigentes. Usted es responsable de asegurarse de que su uso de los servicios de WEEX cumpla con las leyes locales y de evaluar cuidadosamente los riesgos antes de participar en cualquier actividad relacionada con las criptomonedas.