Intervista di SemiAnalysis: lo storage ha ancora spazio per raddoppiare, cautela a breve e medio termine sul CPO, la CPU è solo un comprimario

Fonte: Wall Street Watch

Ogni livello dell'infrastruttura AI sta subendo pressioni simultanee, mentre opportunità e errori di valutazione coesistono.

Dylan Patel, fondatore di SemiAnalysis, ha recentemente partecipato a un'intervista in podcast, analizzando sistematicamente le dinamiche chiave e la logica di investimento nell'attuale stack dell'infrastruttura AI.

Le sue valutazioni coprono l'economia dei modelli, il superciclo della memoria, la rivalutazione delle CPU, i rischi temporali del CPO e le opportunità strutturali nell'approvvigionamento energetico dei data center.

In risposta ai dubbi generali del mercato sul ritorno sugli investimenti (ROI) nell'AI, Dylan ha rivelato che Anthropic ha raggiunto un flusso di cassa libero positivo nel secondo trimestre di quest'anno, con ricavi ricorrenti annualizzati che superano i 50 miliardi di dollari e un margine lordo superiore al 70%. Nel settore aziendale, l'aumento della produttività portato dai nuovi modelli AI supera di gran lunga l'aumento dei costi di calcolo, spingendo le aziende a ridurre altre spese software per mantenere un budget AI in esplosione.

Nel contesto dell'evoluzione hardware, la transizione verso i modelli di inferenza sta rimodellando la domanda di mercato.

Dylan ha sottolineato che lo storage affronta una carenza strutturale che durerà anni, con ancora un potenziale di crescita di 2-3 volte; nel frattempo, sebbene gli agenti e l'apprendimento rinforzato abbiano aumentato la domanda di CPU, il mercato dei venditori ha fissato prezzi eccessivi, la crescita delle CPU proviene principalmente da un "recupero" storico, e il loro valore assoluto nei server AI è ancora lontano da quello delle GPU.

Dylan ritiene che il tanto atteso CPO (Co-Packaged Optics) sarà chiaramente ritardato fino alla fine del 2028 o all'inizio del 2029, prolungando inaspettatamente il periodo di profitto dei connettori in rame. Inoltre, le limitazioni nella rete di distribuzione dell'energia stanno costringendo i data center a passare a "fonti di alimentazione dietro il contatore" (autoproduzione), creando opportunità di investimento significative nella catena di approvvigionamento energetico e nella conversione elettrica, oltre agli investimenti tradizionali nei chip.

Anthropic inizia a generare flussi di cassa, la narrazione della domanda di AI inizia a concretizzarsi

In risposta ai dubbi del mercato sul ROI delle aziende AI, Dylan Patel ha fornito dati concreti.

"Anthropic ha già raggiunto un flusso di cassa libero positivo nel secondo trimestre, con profitti ad aprile, maggio e sembra che anche giugno seguirà la stessa tendenza." Ha affermato che i ricavi ricorrenti annualizzati di Anthropic hanno superato i 50 miliardi di dollari, con un margine lordo superiore al 70%. Anche i ricavi di OpenAI sono cresciuti rapidamente con l'aumento dell'adozione di Codex.

Il tracciamento delle spese di SemiAnalysis conferma questa tendenza. Nel novembre dello scorso anno, il team di 90 persone dell'azienda aveva speso meno di 100.000 dollari all'anno per l'AI; entro la fine di gennaio di quest'anno, a causa del lancio su larga scala di Claude Code, questo numero è schizzato a 4 milioni di dollari all'anno; attualmente ha raggiunto i 11 milioni di dollari, con un picco che ha toccato i 14 milioni di dollari annualizzati. "I costi del personale e quelli dell'AI insieme superano già un terzo, e probabilmente raggiungeranno la metà entro la fine dell'anno."

Ha anche sottolineato che modelli più recenti e potenti non sono necessariamente più costosi nell'uso pratico. I vecchi modelli potrebbero richiedere 100.000 token e 10 interazioni per completare un compito, mentre i nuovi modelli potrebbero averne bisogno solo di 25.000 e 1 interazione. "Ogni volta che un modello passa da 4.6 Opus a 4.7 Opus, le nostre spese scendono per una settimana, poi risalgono vertiginosamente------ perché tutti vedono che cose che prima non si potevano fare ora sono possibili."

Ritiene che questo sia anche uno dei motivi principali per cui Anthropic ha un vantaggio nella competizione con OpenAI: maggiore efficienza dei token e costi complessivi per gli utenti più bassi.

Memoria: carenza strutturale, non ciclo ordinario

Tra tutte le categorie di hardware, Dylan Patel ha la valutazione più ferma sulla memoria.

"Non si tratta di una carenza a breve termine, ma di una carenza strutturale che durerà per anni." Ha sottolineato che la capacità di produzione di memoria cresce solo del 20-30% all'anno, mentre la domanda nel settore AI sta raddoppiando, e il divario tra i due continuerà ad ampliarsi.

La logica centrale alla base di questa valutazione deriva dall'impatto dei modelli di inferenza sulla cache KV. La lunghezza del contesto nella tradizionale inferenza conversazionale è misurata in migliaia di token, con un consumo limitato di cache KV; ma con l'emergere di modelli di inferenza come o1, la lunghezza del contesto è esplosa, e la cache KV è aumentata drasticamente, rendendo la memoria la categoria più direttamente avvantaggiata. SemiAnalysis pubblicherà un rapporto a dicembre 2024 per evidenziare questa tendenza.

I vincoli rigidi dell'offerta costringeranno il mercato a riassegnare le risorse limitate di memoria. Prevede che i dispositivi elettronici di consumo con bassa elasticità dei prezzi saranno i primi a subire pressioni------ le spedizioni dei produttori di smartphone di fascia medio-bassa sono già diminuite del 40%, e i prezzi di iPhone e MacBook aumenteranno l'anno prossimo. "La memoria continuerà a salire di prezzo, l'elettronica di consumo sarà compressa a un nuovo livello, fino a quando l'AI non avrà la memoria di cui ha bisogno, non sarà mai veramente sufficiente."

Ha aggiunto che anche se il ciclo di discesa arriverà, "la crescita a lungo termine è indiscutibile, da un picco all'altro."

CPU: opportunità limitate, non esagerare

La CPU è emersa come un nuovo protagonista nella narrazione dell'infrastruttura AI di quest'anno, ma Dylan Patel ha un atteggiamento di avvertimento chiaro.

La logica del recupero della domanda di CPU è chiara: l'apprendimento rinforzato richiede molte CPU per eseguire la validazione ambientale (test di unità del codice, simulazioni, ecc.); l'inferenza degli agenti richiede che i modelli richiamino frequentemente strumenti e interagiscano con il mondo reale, operazioni che dipendono fortemente dalla potenza di calcolo delle CPU.

Nel frattempo, negli ultimi anni, sono stati spediti in massa chip AI, ma le CPU sono state gravemente insufficienti, e attualmente ci troviamo in una fase di recupero concentrato, con ARM, Intel e AMD che beneficiano, e Nvidia Vera CPU che ha fornito una guida ai ricavi di 20 miliardi di dollari.

"Ma voglio dare un importante avvertimento: c'è un grande effetto di recupero qui." Ha affermato che una volta che i debiti storici saranno saldati, rimarrà solo la domanda incrementale, e la domanda tornerà alla normalità. In termini assoluti, Blackwell costa circa 50.000 dollari, mentre la CPU circa 5.000 dollari; anche se in proporzione ci sono più CPU, l'importo in dollari è comunque molto inferiore rispetto ai chip acceleratori AI.

"La memoria e i chip acceleratori AI sono i veri protagonisti, la CPU è stata rivalutata dopo essere stata sottovalutata, ora ha un prezzo più ragionevole, ma non crescerà indefinitamente a un ritmo superiore a quello dei chip AI."

Interconnessione ottica: ottimismo a lungo termine, cautela a breve e medio termine sul CPO

Le reti e l'interconnessione ottica sono un altro settore con un forte entusiasmo di mercato, ma Dylan Patel ha un atteggiamento cauto riguardo al ritmo di attuazione del CPO (Co-Packaged Optics).

"Il CPO sarà realmente prodotto su larga scala, secondo la mia valutazione, alla fine del 2028 o all'inizio del 2029." Ha sottolineato che attualmente i tassi di produzione, la progettazione dei chip e la maturità della catena di approvvigionamento non hanno raggiunto gli standard per il dispiegamento su larga scala, e Nvidia Rubin e la sua architettura successiva Feynman continueranno a utilizzare una soluzione completamente in rame, mentre il CPO nel lato GPU dovrà attendere diverse generazioni di chip.

Ha rivelato che la scorsa settimana, SemiAnalysis ha appena pubblicato un rapporto per i clienti istituzionali, e a medio termine è più ottimista sulle soluzioni in rame e non CPO, mantenendo un atteggiamento cauto sul CPO. Alcune modifiche nel design dei chip a valle (come il Kyber di Rubin Ultra che ha rimosso il design a 800V) hanno ulteriormente ritardato il tempo di attuazione del CPO. Aziende come Amphenol beneficeranno quindi più del previsto.

"Il CPO accadrà a lungo termine, i cavi in rame saranno sostituiti a lungo termine, ma la linea temporale è stata ritardata, a breve e medio termine ci sono ancora grandi opportunità per i cavi in rame."

Energia: l'autoproduzione diventerà la norma, molteplici percorsi innovativi

L'approvvigionamento energetico dei data center sta diventando il vincolo fisico più rigido alla crescita dell'AI.

Secondo le previsioni di Dylan Patel, il consumo energetico dei nuovi data center sarà di 20 GW quest'anno, 30 GW l'anno prossimo e 50 GW l'anno successivo, con una crescita quasi esplosiva.

Ha scomposto il problema energetico in tre dimensioni: trasmissione, generazione e conversione. La trasmissione è l'anello più difficile da superare, coinvolgendo politiche di regolamentazione, strutture monopolistiche delle compagnie elettriche locali e meccanismi di ripartizione dei costi, difficili da cambiare nel breve termine. La generazione e la conversione, invece, offrono ampie opportunità.

Prevede che nei prossimi anni, metà del consumo energetico dei nuovi data center provenga da "fonti di alimentazione dietro il contatore", ovvero autoproduzione da parte delle aziende, piuttosto che dipendere dalla rete elettrica pubblica.

Attualmente, la soluzione principale è il ciclo combinato di turbine a gas (CCGT), fornito da aziende come GE Vernova, Mitsubishi e Siemens; ci sono anche motori a pistoni, turbine a gas industriali e persino soluzioni non tradizionali che modificano motori navali, ferroviari e per camion. "Sembra grezzo, ma funziona, e già viene utilizzato."

Nel lungo termine, prevede che entro circa due anni i costi complessivi di energia solare e accumulo saranno inferiori a quelli della generazione a gas; a lungo termine, si prevede la creazione di data center spaziali------ posizionando chip di calcolo in orbita, dove i pannelli solari non devono attraversare l'atmosfera, con una densità energetica molto superiore a quella terrestre e senza necessità di accumulo.

Anche il lato della conversione è pieno di opportunità di investimento, da IGBT, carburo di silicio a MOSFET in nitruro di gallio, oltre a trasformatori solidi, UPS e supercondensatori, l'intera catena di conversione della tensione sta evolvendo rapidamente.

Attualmente, il dipartimento di ricerca più grande di SemiAnalysis non è più quello dei semiconduttori, ma il team interno chiamato "DEI" (Data Center, Energia e Industria), che traccia le dinamiche di dispiegamento di ogni data center e centrale elettrica nel mondo.

Disclaimer: il presente contenuto è fornito esclusivamente a scopo informativo e di branding generale e non costituisce consulenza finanziaria, di investimento, legale o fiscale. Qualsiasi evento, ricompensa, evento online o informazione correlata menzionata nel presente documento non deve essere considerata una raccomandazione, una sollecitazione o un invito ad acquistare, vendere, fare trading o altrimenti negoziare asset di criptovalute o a utilizzare i relativi servizi. Le criptovalute sono altamente volatili e possono comportare perdite. I servizi e gli eventi online di WEEX potrebbero non essere disponibili in tutte le regioni e sono soggetti alle leggi, ai regolamenti e ai requisiti di idoneità applicabili. Sei responsabile di garantire che il tuo utilizzo dei servizi WEEX sia conforme alle leggi locali e di valutare attentamente i rischi prima di partecipare a qualsiasi attività correlata alle criptovalute.