Intervista al CEO di Cerebras: con 25 miliardi di ordini in attesa, la domanda di potenza AI è già esaurita

Titolo originale: Open Source Wins, AGI Is Here, and Scorsese's AI Toolkit---Cerebras & Black Forest Labs CEOs
Fonte originale: All-In Podcast
Traduzione originale: Deep Tide TechFlow

Riepilogo dei punti principali

In questo episodio sono stati invitati i CEO di due aziende di infrastrutture AI. Andrew Feldman è il fondatore di Cerebras, che si specializza in chip per inferenza e ha appena completato l'IPO, con 25 miliardi di dollari di ordini in attesa. Ha sottolineato ripetutamente una cosa: la domanda di potenza AI è già esaurita, non esiste una situazione in cui "abbiamo costruito e aspettiamo che qualcuno arrivi"; l'appetito di OpenAI, Anthropic, SpaceX e Google supera di gran lunga l'offerta. L'emergere del ragionamento ha fatto impennare nuovamente la densità computazionale, che è esattamente il campo di battaglia delle macchine veloci. Robin Rombach è il fondatore di Black Forest Labs, che sviluppa modelli generativi per immagini e video (serie Flux); ha inventato l'algoritmo di diffusione latente, che è alla base di tutti i modelli di generazione di immagini e video attuali. Ha appena collaborato con Martin Scorsese, permettendo al regista di visualizzare le immagini nella sua mente tramite AI; ma la direzione che lo entusiasma di più è che lo stesso modello multimodale può girare film e può essere implementato come cervello in robot. Il punto finale dei video generativi non è sullo schermo, ma nel mondo fisico.

Riepilogo delle opinioni interessanti

Il ragionamento è il prossimo buco nero della potenza computazionale

· "È interessante notare che questa volta è diverso dal passato; non stanno scommettendo su 'una volta costruito, qualcuno arriverà', la domanda ha già prenotato la capacità produttiva. Abbiamo 25 miliardi di dollari di ordini in attesa."

· "Il ragionamento consuma enormi quantità di token, ed è esattamente il campo di battaglia delle macchine veloci."

· "Se Cerebras fosse 15 volte più veloce, funzionando 24 ore su 24, sarebbe come se avessi pensato per settimane o addirittura mesi."

Open source e sovranità: le aziende vogliono il controllo

· "Nessuno ama essere dipendente. Le grandi aziende hanno imparato dalla lezione dell'era x86 di essere legate a Intel."

· "Non hai bisogno di costruire il chip più veloce, hai solo bisogno di non dipendere completamente dai chip degli altri."

· "Se vuoi eseguire modelli open source ora, devi usare l'OSS 12B di OpenAI o modelli cinesi; gli Stati Uniti hanno bisogno di più opzioni open source locali."

L'AGI secondo la definizione di vent'anni fa è già qui

· "Qualsiasi definizione di AGI che abbiamo proposto 20, 30 o 40 anni fa l'abbiamo già superata di gran lunga."

· "Il test di Turing? È stato superato da tempo."

· "Il problema non è più che non sappiamo come chiedere, ma l'AI può dirti: 'Ehi, voi stupidi umani, non avete considerato questo'."

I video generativi non sostituiscono la creatività umana

· "Questi modelli AI sono un mezzo, non vogliamo imporre come usarli, specialmente per persone come Martin Scorsese."

· "Il linguaggio è un modo di comunicare un po' limitato; i segnali visivi sono troppo ricchi. Trasformare le immagini nella tua mente in immagini visibili è il punto più potente della tecnologia."

· "I risultati più interessanti si verificano quasi sempre quando gli esseri umani sono coinvolti nel processo iterativo."

Dal cinema ai robot: lo stesso modello

· "Puoi usare lo stesso modello multimodale per girare un film e poi implementarlo come cervello in un robot."

· "I video pre-addestrati insegnano implicitamente al modello le leggi dell'interazione fisica, e poi ottieni previsioni di movimento dallo stesso modello, che è il controllo del robot."

· "L'obiettivo è che tu possa dare istruzioni al robot tramite prompt contestuali: 'Portami quel bicchiere d'arancia'; non ci siamo ancora riusciti, ma questa è la direzione."

La frenesia delle infrastrutture AI: i data center più grandi delle città

Intervistatore: Non abbiamo mai visto una scala di costruzione come questa. Dalla Grande Muraglia e dalle piramidi, l'umanità non ha mai investito così tanto capitale, tempo e intelligenza per costruire qualcosa. Tu stai effettivamente facendo questo, i tuoi clienti stanno costruendo data center, tu sei una parte fondamentale. Cosa farà Cerebras nel 2026? Qual è la situazione di quei grandi progetti in Texas?

Risposta: Stiamo parlando di data center, l'energia che consumeranno nei prossimi anni supererà la quantità totale consumata sulla Terra negli ultimi 50 anni. Un singolo edificio è grande quanto un campo da calcio e consuma più energia di una città di medie dimensioni. Si stanno costruendo in tutto il paese, in Canada, nei paesi nordici, a Parigi e in tutta la Francia, in Medio Oriente, e anche in Kazakistan, Tagikistan e Georgia si stanno costruendo grandi data center. Ogni paese, ogni stato vuole partecipare.

Chi paga? OpenAI, Anthropic, SpaceX AI, Google, hanno un appetito spaventoso. È interessante notare che questa volta è diverso da molte ondate tecnologiche passate: non stanno scommettendo su 'una volta costruito, qualcuno arriverà', la domanda ha già prenotato la capacità produttiva. Abbiamo 25 miliardi di dollari di ordini in attesa. OpenAI ha bisogno di più data center, Microsoft ha bisogno di più, AWS ha bisogno di più. La domanda non aspetta che i clienti arrivino, i clienti sono già in fila.

Intervistatore: Questo ha anche dato origine a un termine chiamato 'token maxing', un uso illimitato di token. Alcuni mettono in dubbio se una domanda così grande stia realmente creando valore.

Risposta: Certo che c'è un enorme valore che si sta creando. Certo, ci sono anche molti tentativi inutili. Ricordo quando AWS è stato lanciato, era fantastico bypassare il mio dipartimento IT; ogni ingegnere registrava con una carta di credito. Molti erano davvero utili, ma alcuni dopo un po' pensavi 'eh, non avrei dovuto farlo'. Ma nel complesso si guadagna, solo che alcune direzioni si rivelano vuote.

Ricordo nel 1988 quando Costco ha aperto a Palo Alto, la gente girava come se fosse un supermercato, passando davanti a ogni scaffale. Era un modo terribile di fare shopping, perché compravi quattro cose di cui non avevi bisogno, ognuna da 22 dollari. Poi la gente ha imparato la strategia: andare sul retro a prendere il pollo, prendere 18 cupcake per la festa di compleanno del bambino, in modo semplice e diretto. Anche il consumo di token AI è simile; all'inizio tutti usavano liberamente, ora le aziende iniziano a parlare di strategia: quali compiti possono essere svolti con modelli open source e quali devono utilizzare modelli all'avanguardia. Iniziamo a gestire l'AI come un'attività commerciale.

Il ragionamento sostituisce l'addestramento: perché le macchine veloci sono i protagonisti di questa ondata?

Intervistatore: Sam Altman ha detto in AllIn che il prossimo passo è il ragionamento, comprendere le intenzioni, formulare strategie e convalidare incrociando agenti di altri thread. Abbiamo percorso un lungo cammino da 'indovina la prossima parola', e ora Cerebras è proprio al centro, perché il ragionamento è inferenza, e il carico computazionale è enorme.

Risposta: Il ragionamento consuma enormi quantità di token, e questo crea un campo di battaglia per le macchine veloci. Ogni passo del ragionamento consuma token internamente; prima dovevi spendere molto tempo per ottenere una buona risposta. Cerebras 15 volte più veloce significa che 24 ore di ragionamento equivalgono a settimane o addirittura mesi di pensiero per gli altri.

Questa mattina ho provato un modello GLM-52 su BitTensor, dandogli potenza illimitata e chiedendogli di dirmi ogni ora le tendenze nel mondo che non sono state ancora riconosciute. Ha iniziato a dibattere da solo: dovrei cercare su Hacker News e Reddit? O le tendenze appaiono prima su Instagram? Ho visto un modello di ragionamento dibattere in background, stava facendo ragionamento. Token illimitati equivalgono a ragionamento illimitato; con Cerebras 15 volte più veloce, 24 ore equivalgono a settimane per gli altri.

Intervistatore: Cerebras ha la propria legge di Moore? Quanto tempo ci vuole per raddoppiare?

Risposta: Tutti i chip precedenti seguivano la legge di Moore, raddoppiando ogni 18 mesi. Con questo chip abbiamo interrotto quella linea, creando un nuovo percorso. La mia previsione è che nei prossimi 18 mesi supereremo di gran lunga il raddoppio. La nuova architettura ha ancora ampi margini di ottimizzazione. Le GPU sono un'architettura vecchia di 20 anni, possono solo resistere riducendo il nodo di processo, ma la nuova architettura ha ancora molto da imparare e da ottimizzare.

Intervistatore: Con 25 miliardi di ordini in attesa, devi anche tenere il passo con OpenAI, che potrebbe essere un potenziale concorrente in futuro. Come gestisci l'azienda?

Risposta: Ora i chip non rimarranno inattivi, la domanda è troppo alta. Ma hai ragione, OpenAI sta anche sviluppando i propri chip, Amazon sta facendo lo stesso. Nessuno ama essere dipendente. Le grandi aziende hanno imparato dalla lezione dell'era x86 di essere legate a Intel; i produttori di GPU hanno imparato la lezione di essere legati a pochi grandi clienti, quindi hanno finanziato nuove nuvole. Fare i propri chip non riguarda essere i più veloci, ma non dipendere completamente dagli altri, almeno controllare una parte importante del proprio destino.

Open source e sovranità: le aziende vogliono il controllo

Intervistatore: L'open source sta vivendo un momento. All'inizio usavo OpenClaude, poi Kimmy, e ho scoperto che i token di Claude esplodevano, ma non riuscivo a distinguere Kimmy. I modelli open source hanno iniziato a fare ragionamento, e quest'anno il divario si è chiuso improvvisamente.

Risposta: Non vuoi guidare una Ferrari per andare al supermercato. A volte guidi una supercar, a volte un minivan; non ti dispiace se i bambini rovesciano Cheerios. Anche le aziende sono simili: i compiti difficili vengono dati ai modelli all'avanguardia (OpenAI, Anthropic, Gemini), ma dietro ci sono molte questioni quotidiane che richiedono solo solide capacità open source. Pensa a quanto tempo un'azienda spende a copiare e incollare da Workday a un'altra cella di Excel? Non serve un matematico d'oro, basta un buon open source.

Recentemente è stata svelata una nuova carta: i settori regolamentati come la finanza e la sanità (HIPAA, FINRA) temono le violazioni dei dati e la sovranità tecnologica, quindi vogliono mantenere i modelli localmente, utilizzando versioni open source per avere un maggiore controllo. OpenAI ha rilasciato alcuni mesi fa l'OSS 12B, che è accettabile. Ma ora negli Stati Uniti si sta spingendo verso l'open source, o OSS 12B o modelli cinesi, le opzioni open source locali sono troppo poche. Anche NVIDIA ha notato questa opportunità e sta promuovendo i propri modelli open source, ma Jensen è indeciso, i suoi clienti sono Sam, Dario, Elon e Sergey, spingere per l'open source potrebbe significare competere con i clienti.

Cerebras si trova in una posizione piuttosto neutra, stiamo eseguendo GLM, Kimmy, la serie Qwen e anche i modelli closed source di OpenAI. Stiamo anche utilizzando i modelli sviluppati da GSK, UAE G42 e MBZUAI. La questione della sovranità è una tendenza.

AGI è già arrivata, il paradigma non morirà, ma gli esseri umani sì

Moderatore: Quando sono stati rilasciati Fable 5 e o-56, il governo ha detto "fermati e ripensa". Anthropic e il governo hanno avuto relazioni tese, ma ora stanno iniziando a distendersi. Pensi che sia ragionevole un rilascio graduale? I modelli sono davvero così pericolosi?

Risposta: Non ho mai visto una cosa del genere prima. Ma pensando a ritroso: quando un modello è così potente nel pensiero creativo, e il governo dice "per favore, rilascia gradualmente", non vedo nulla di sbagliato in questo. Anche i farmaci potenti sono gestiti in questo modo, ovviamente non incoraggio la burocrazia della FDA con i suoi sette anni di documentazione spazzatura, ma dire "almeno permetti al governo di fare dei test di sicurezza per confermare che le nostre difese possano resistere", e dare due o tre settimane per correggere le vulnerabilità evidenti, non è una richiesta irragionevole.

Ma ora siamo nel periodo di massima polarizzazione. Se questa cosa non fosse stata fatta da Trump, la reazione di qualsiasi altro presidente sarebbe stata completamente diversa. La polarizzazione ha danneggiato il pensiero chiaro. Entrambi i lati faranno cose stupide e cose intelligenti. Le persone di base nel governo stanno lavorando seriamente, solo che le cose si muovono troppo velocemente.

Nikesh di Palo Alto Networks mi ha avvisato: hanno testato il modello sul proprio software e hanno scoperto decine di vulnerabilità critiche in un'ora, costringendoli a fermare tutto e a dedicare sei settimane per applicare patch. Ti rendi conto che questo è uno strumento potente, forse dovresti mostrarlo prima a un piccolo gruppo di persone, o fare prima dei test di sicurezza.

Moderatore: Secondo qualsiasi definizione di vent'anni fa, l'AGI è già qui. Sei d'accordo?

Risposta: Sì. Il test di Turing? È stato superato da tempo. Qualsiasi definizione proposta dieci, quindici, venti, trenta, quaranta, cinquanta anni fa è stata superata. Abbiamo risposto a tutte le domande poste dagli scrittori di fantascienza, e loro diranno "non ho più domande, mi dispiace". Ecco perché le voci di chi sembra essere ai margini meritano di essere ascoltate, Ilya parlava di sicurezza otto anni fa e tu dicevi "cosa?" e alla fine aveva ragione. Elon parlava di ridurre i costi dei razzi a quasi zero e tu dicevi "cosa?" e alla fine ci è riuscito.

Moderatore: L'apprendimento ricorsivo, fai una domanda, ottieni un risultato, poi chiedi di nuovo, la risposta è migliore, copre più materiale, queste risposte prodotte in ciclo passano da "un po' meglio" a "molto meglio". La pendenza della curva esponenziale è troppo ripida.

Risposta: Il guadagno ricorsivo è esponenziale, migliori, ripeti, continua a guadagnare, la pendenza è troppo ripida. Stiamo appena iniziando a vedere questo. Continuando a investire potenza di calcolo, le risposte miglioreranno sempre? Si ferma quando hai esaurito i token o il budget, ma quando finisce questa curva esponenziale? O continuerà a salire per sempre? Questa è una domanda molto interessante ora.

La velocità di apprendimento umano è bloccata da generazioni, gli elefanti e i grandi mammiferi impiegano 15-20 anni per una generazione. Se vuoi velocità, devi essere come una mosca della frutta, che ha due generazioni al giorno. L'IA sta raggiungendo questa velocità di apprendimento che attraversa migliaia di generazioni. Quando studiavo psicologia, il professore diceva: il paradigma non morirà, ma gli esseri umani sì. Gli allievi di Freud, Skinner e Jung occupano posizioni di leadership per 20-40 anni prima che la prossima generazione inizi a mettere in discussione. L'IA ha compresso l'intervallo generazionale alla velocità di una mosca della frutta.

Scommetto su questa cosa: i nostri figli e tutte le persone che conoscono non moriranno di cancro. Ci saranno turbolenze economiche, l'auto è arrivata e chi fabbrica ferri da cavallo avrà vita difficile. Ma se mettiamo in lista i guadagni e le perdite: energia infinita, cibo infinito, conoscenza infinita, istruzione infinita, alloggio infinito. Sappiamo da mille anni che il tutoraggio uno a uno è migliore della lezione in aula, Aristotele ha fatto da tutor ad Alessandro, Socrate ai suoi studenti, ma abbiamo scelto un'istruzione di tipo fabbrica. Ora l'IA può dare a ogni bambino un tutor che insegna nel modo che preferisce.

La cassetta degli attrezzi di AI di Scorsese: trasformare le immagini nella mente in realtà

Moderatore: Robin Rombach è cofondatore e CEO di Black Forest Labs, con sede nella regione della Foresta Nera a Friburgo e San Francisco. Hai precedentemente lavorato a Stable Diffusion, inventando l'algoritmo di diffusione latente. Qual è l'attività di Black Forest Labs? Qual è il suo obiettivo?

Risposta: Io e i miei soci abbiamo fondato questa azienda due anni fa. Prima abbiamo lavorato a Stable Diffusion e, ancor prima, abbiamo inventato la diffusione latente, che è l'algoritmo di base dietro tutti i modelli di generazione di immagini, video e persino AI fisica. Il principio è comprimere i dati naturali (immagini, video, audio) in uno spazio di rappresentazione efficiente e poi addestrare un trasformatore su di essi, proprio come il principio di JPEG e MP3, ma implementato con algoritmi di reti neurali. L'abbiamo sviluppato durante il nostro dottorato a Monaco.

Ora stiamo affrontando modelli visivi multimodali, pre-addestrando simultaneamente su dati di immagini e audio, entrando in un nuovo paradigma: combinando la previsione delle azioni, permettendo allo stesso modello di generare immagini, video, audio e prevedere azioni, che alla fine possono essere implementati in robot nel mondo reale.

Moderatore: Dalle immagini ai video, dall'audio ai robot, se il modello può generare video, significa che comprende il mondo.

Risposta: L'intelligenza intuitiva e il ragionamento profondo sono due forme di intelligenza complementari. Iniziamo dal lato intuitivo, le immagini sono il punto di partenza più naturale, il carico computazionale non è così grande come per i video. Ma ora stiamo convergendo verso modelli multimodali. L'addestramento pre-video ha implicitamente insegnato al modello le leggi dell'interazione fisica, ottenendo anche previsioni di azioni dallo stesso modello, cioè il controllo dei robot.

Moderatore: Hai collaborato con Martin Scorsese? Sei seduto accanto a lui mentre usa il tuo strumento?

Risposta: Sì, sono seduto nella stessa stanza con lui, esplora il nostro modello, come uno dei ricercatori principali seduto accanto, è stata un'esperienza incredibile. Inoltre, sono un suo grande fan.

Ciò che desidera è visualizzare le scene nella sua mente, un villaggio dell'Europa orientale, lui descrive, noi vediamo l'output, lui itera. Alla fine ha detto: trasformare le immagini nella mente in espressioni visive, questa comunicazione è molto più efficiente rispetto al linguaggio. Il linguaggio è un modo di comunicazione un po' riduttivo, il segnale delle informazioni visive è così ricco, la quantità di informazioni in un'immagine o in un video è enorme, è un altro canale di comunicazione.

Non vogliamo imporre come utilizzare questi modelli, soprattutto non diremo a Martin Scorsese "dovresti usarlo in questo modo". I modelli di IA sono un mezzo. Le cose più interessanti emergono quando le persone sono in un ciclo di iterazione continua.

Dai film ai robot: il punto finale dei modelli generativi non è sullo schermo

Moderatore: Le startup ora utilizzano Flux e i vostri modelli per realizzare video promozionali, prima spendevano 250.000 dollari per un video di lancio, ora possono farlo in una o due settimane. Gal Gadot ha appena realizzato un film su Bitcoin, gli attori si esibiscono su un palcoscenico senza green screen, tutti gli sfondi sono generati da AI, con un budget di 30 milioni di dollari hanno ottenuto effetti che prima richiedevano 150 milioni. Hai visto un utilizzo in produzione?

Risposta: Ne ho visto un po'. La produzione cinematografica di alta qualità è uno degli usi più esigenti. Sono felice che qualcuno stia esplorando, ma voglio anche chiarire: la tecnologia è ancora in traiettoria, sta iterando rapidamente. Anni fa, quando eravamo dottorandi, potevamo generare solo immagini a 64×64 pixel, ora possiamo fare video ad alta risoluzione con più input, ma non si fermerà qui.

La cosa che mi entusiasma di più è questa: puoi prendere lo stesso modello multimodale per girare un film e poi implementarlo come cervello in un robot. È davvero interessante. Non è ancora chiaro se l'uso del computer sia praticabile, ma la tecnologia sta avanzando verso il mondo fisico, modelli di mondo, modelli di azione, in parole povere, sono tutte la stessa cosa.

Moderatore: Da dove provengono i dati di addestramento? Fai indossare occhiali e guanti agli esseri umani per registrare in prima persona? O basta guardare mille video di persone che versano bevande su YouTube?

Risposta: L'obiettivo è dare istruzioni al robot tramite prompt in-context: "prendi quel bicchiere di succo d'arancia". Attualmente non è possibile. L'approccio attuale è: il modello ha già incorporato una grande comprensione visiva e richiede solo poche ore di dati di messa a punto per adattarsi a hardware specifici. La direzione è ridurre al minimo la messa a punto, basandosi il più possibile su istruzioni in-context, ma è ancora una questione di ricerca.

Moderatore: L'open source sta vivendo un momento, le aziende vogliono la sovranità. Come dovrebbe comportarsi un grande IP come Disney? Dovrebbero addestrare il proprio modello utilizzando il tuo modello open source o collaborare con te per addestrare un modello esclusivo?

Risposta: Gli usi più interessanti riguardano la generazione di cose che non esistevano prima, questo è ciò che rende questa tecnologia intrinsecamente interessante. Non possiamo generare IP specifici con i nostri strumenti pubblici, il che è ragionevole. Collaboriamo anche con alcuni titolari di IP per sviluppare modelli, alcuni basati sui nostri modelli open source, altri sui nostri modelli proprietari più potenti.

L'angolo più interessante è: la tecnologia sta diventando più veloce e interattiva. Puoi immaginare strumenti di creazione di contenuti interattivi su Disney+.

Moderatore: Ora il fenomeno più interessante è il fan film. In passato c'erano fan fiction che scrivevano le proprie storie di Star Wars, poi qualcuno ha indossato costumi da Jedi per girare fan film. George Lucas ha detto che è permesso finché non viene utilizzato commercialmente. Ora le persone usano l'IA per reinterpretare storie di Star Wars mai raccontate, Star Wars Stories Untold ha milioni di visualizzazioni per ogni video. Questo è il futuro: consentire ai consumatori di pagare per l'autorizzazione, permettendo loro di creare le proprie storie con i personaggi.

Risposta: Se troviamo un modello di business praticabile per i titolari di IP e possiamo aprire questo tipo di personalizzazione creativa, sarebbe fantastico. Quando leggo un libro o guardo un film, mi chiedo sempre "cosa succederebbe se si sviluppasse in questo modo", ora finalmente possiamo visualizzare queste idee.