Musk teilt AI-Vergleichsbild und kommentiert die Entwicklung der KI

Musk hat ein Bild mit dem Titel „AI then / AI now“ geteilt und nur mit einem Wort „Accurate ?“ kommentiert. Das Bild zeigt, dass frühere Forschungen im Bereich des maschinellen Lernens die Entwicklung von Kernmethoden, den Nachweis der Modellvalidität und den Aufbau probabilistischer Modelle erforderten. Im Zeitalter der großen Modelle hat sich die Forschungsstrategie auf drei Schritte vereinfacht: die Vergrößerung des Transformer-Modells, die Bereitstellung von mehr Daten und die Erhöhung der Anzahl der GPUs, was zu einer Verbesserung der Modellleistung führt. Dies spiegelt die reale Dilemma der großen Modellindustrie wider: Früher wurde zuerst das Prinzip erforscht und dann das Modell entworfen, während es heute oft so ist, dass zuerst die Größe vergrößert und dann die Quelle der Fähigkeiten erforscht wird.