System optymalizacji GLM-5.3 zwiększa przepustowość o 3,2 razy

System Infra Agent napędzany przez GLM-5.3 uczestniczył w optymalizacji systemu wnioskowania GLM-5.3-Flash, zwiększając przepustowość end-to-end do 3,2 razy w porównaniu do początkowego poziomu. Tang Jie, współzałożyciel i główny naukowiec Zhizhu, zauważył, że Agent często napotyka trudności w diagnozowaniu problemów; chociaż potrafi zidentyfikować zmiany, które powodują spadek przepustowości o 20%, nie jest w stanie określić konkretnego poziomu problemu. W związku z tym Zhizhu opracowało zestaw narzędzi, które pomagają Agentowi samodzielnie sprawdzać wyniki po modyfikacji kodu, czas zużycia oraz efektywność rozwiązań. Dzięki tej metodzie Agent zidentyfikował problemy takie jak błędy obliczeniowe w długim kontekście, blokady przesyłania KV oraz powtarzające się obliczenia w kernelu dekodera, z których jeden kernel po przepisaniu przyspieszył o 1,71 razy. Tang Jie uważa, że rola inżynierów będzie się zmieniać w kierunku projektowania informacji zwrotnej, odpowiedzialnej za ustalanie celów i przegląd ryzykownych modyfikacji, podczas gdy Agent będzie odpowiedzialny za hipotezy, modyfikacje kodu i eksperymenty. Mimo że do pełnego RSI jeszcze daleko, minimalna pętla zwrotna została wstępnie utworzona, co odzwierciedla ideę "systemu optymalizacji modeli, który ponownie służy modelowi."

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.