Prezes NVIDIA Jensen Huang powiedział, że GPT-6 Astra został wytrenowany z użyciem ponad 100 000 GPU Grace Blackwell połączonych w szybkim klastrze NVLink72, zgodnie z informacją spółki przytoczoną w raporcie. Huang powiedział również, że kolejna partia wykorzysta 400 000 GPU, choć nie wskazano konkretnych modeli.

Ujawnione informacje dotyczą sprzętu wykorzystywanego do trenowania GPT-6 Astra. Huang powiedział, że system używał ponad 100 000 GPU Grace Blackwell połączonych przez NVLink72, architekturę NVIDIA umożliwiającą umieszczenie 72 GPU w tej samej domenie szybkich połączeń międzyukładowych. Raport podał, że kolejna partia treningowa jest planowana na 400 000 GPU, ale nie określił, czy systemy te również będą korzystać z Blackwell.

Raport przedstawił te informacje na tle obecnej luki infrastrukturalnej AI między amerykańskimi a chińskimi twórcami modeli. ByteDance określono jako najbliższego konkurenta wśród dużych chińskich firm tworzących modele, z około 36 000 połączonych GPU B200. Stwierdzono, że jego krajowe klastry opierają się głównie na systemach H20 i H800 bazujących na Hopper.

Pozostałe dane dotyczące mocy pozostają mniej jasne. Według doniesień Kimi pozyskał około 20 000 GPU Hopper za pośrednictwem Alibaba, konkretnie jednostki H200, choć Alibaba zaprzeczył tym twierdzeniom. DeepSeek nie ujawnił pełnego sprzętu treningowego wykorzystanego dla V4, lecz cytowane w raporcie przecieki wskazywały, że firma miała w maju około 20 000 jednostek mocy obliczeniowej odpowiadającej serii H, w tym około 16 000 jednostek mocy Huawei 950.

Raport zauważył również, że platforma Blackwell użyta dla Astry nie jest już najnowszą generacją NVIDIA. Vera Rubin weszła już do produkcji na pełną skalę, a NVIDIA szacuje, że trenowanie dużych modeli typu mixture-of-experts z użyciem Rubin może wymagać zaledwie jednej czwartej liczby GPU potrzebnych w przypadku Blackwell. Według raportu żadna chińska firma nie ujawniła publicznie wykorzystania 100 000 zaawansowanych GPU tej samej generacji do trenowania pojedynczego modelu.

Dlaczego to ważne

Ujawnione informacje są istotne, ponieważ wyraźniej pokazują podział między rozwojem granicznej AI a szerszą rynkową narracją dotyczącą konkurencji między modelami. Na najwyższym poziomie wydajność coraz bardziej zależy nie tylko od algorytmów lub danych, lecz także od tego, kto jest w stanie zbudować, zasilić i połączyć niezwykle duże klastry najnowszych chipów.

Ma to szersze konsekwencje wykraczające poza samych dostawców AI. Im bardziej postęp w dużych modelach zależy od rzadkich, ściśle zintegrowanych stosów sprzętowych, tym większe strategiczne znaczenie zyskują dostawy półprzewodników, architektura sieciowa i dostęp do zaawansowanej mocy obliczeniowej. W sektorach AI powiązanych z kryptowalutami utrzymuje to uwagę na ograniczeniach infrastrukturalnych, a nie na prostym entuzjazmie wokół marki AI.