Tencent wprowadza model Hy4 z 770 miliardami parametrów i 1 milionem kontekstów

Tencent zaprezentował model Hy4 preview, który wykorzystuje architekturę MoE. Całkowita liczba parametrów wynosi 770 miliardów, a aktywowane parametry to 49 miliardów, z rozszerzonym kontekstem do 1 miliona. W porównaniu do Hy3, który miał 295 miliardów parametrów, 21 miliardów aktywowanych parametrów i 256 tysięcy kontekstów, Hy4 ma podwójną skalę, a długi kontekst zwiększył się około czterokrotnie. Hy4 kładzie nacisk na zastosowanie w rzeczywistych zadaniach, takich jak kodowanie, biurokracja, gry i badania naukowe, potrafi zbudować stronę 3D w Three.js od podstaw, stworzyć gry demo w Unity, przetwarzać 72 dokumenty finansowe oraz sprawdzać powtarzające się wydatki, przekroczenia limitów i nieprawidłowości budżetowe. Hy4 współpracuje również z produktami Tencent, takimi jak WorkBuddy i CodeBuddy, w celu wspólnego treningu i iteracji. Hy4 bierze udział w swoim własnym rozwoju, pomagając optymalizować metody treningowe, strategie danych, systemy oceny i podstawowe operatory, tworząc cykl samodoskonalenia. Hy4 preview jest już zintegrowany z wieloma produktami Tencent, a firma zapowiedziała w swoim raporcie finansowym, że Hy4 będzie większy niż Hy3, a rzeczywiste opinie użytkowników będą ważnym źródłem danych do treningu modelu.

Niniejsza treść ma charakter wyłącznie informacyjny i nie stanowi porady finansowej, inwestycyjnej, prawnej ani podatkowej. Wszelkie wydarzenia, nagrody, promocje online lub powiązane informacje, o których tu mowa, nie powinny być traktowane jako rekomendacja, zachęta ani zaproszenie do kupna, sprzedaży, wymiany lub innego rodzaju obrotu aktywami kryptograficznymi. Aktywa kryptograficzne charakteryzują się dużą zmiennością i mogą prowadzić do strat. Dostępność usług, produktów i powiązanych wydarzeń WEEX może się różnić w zależności od regionu. Użytkownik jest odpowiedzialny za upewnienie się, że jego udział jest zgodny z obowiązującymi lokalnymi przepisami i regulacjami.