Tencent veröffentlicht Hy4-Modell mit 770 Milliarden Parametern und 1 Million Kontexten

Tencent hat das Hy4-Preview-Modell veröffentlicht, das auf einer MoE-Architektur basiert. Es hat insgesamt 770 Milliarden Parameter, aktiviert 49 Milliarden pro Anfrage und erweitert den Kontext auf 1 Million. Im Vergleich zu Hy3 mit 295 Milliarden Gesamtparametern, 21 Milliarden aktivierten Parametern und 256.000 Kontexten hat Hy4 die Größe verdoppelt und den langen Kontext etwa vervierfacht. Hy4 betont die Anwendung in realen Aufgaben wie Programmierung, Büroarbeit, Spielen und Forschung. Es kann von Grund auf eine Three.js 3D-Website erstellen, in Unity spielbare Spiel-Demos entwickeln, 72 Finanzdokumente verarbeiten und auf doppelte Erstattungen, Überschreitungen von Limits und Budgetanomalien prüfen. Hy4 wird auch zusammen mit Tencent-Produkten wie WorkBuddy und CodeBuddy trainiert und iteriert. Hy4 beteiligt sich an der eigenen Forschung und hilft, Trainingsmethoden, Datenstrategien, Bewertungssysteme und grundlegende Operatoren zu optimieren, um einen Selbstverbesserungszyklus zu bilden. Das Hy4-Preview-Modell ist bereits in mehrere Tencent-Produkte integriert, und Tencent hat in seinem Finanzbericht angekündigt, dass Hy4 größer sein wird als Hy3 und dass echtes Produktfeedback eine wichtige Quelle für das Training des Modells darstellt.

Dieser Inhalt wird nur zu allgemeinen Informationszwecken bereitgestellt und stellt keine finanzielle, Anlage-, Rechts- oder Steuerberatung dar. Alle erwähnten Ereignisse, Prämien, Online-Aktionen oder zugehörige Informationen sollten nicht als Empfehlung, Aufforderung oder Einladung zum Kauf, Verkauf, Handel oder anderweitigem Umgang mit Krypto-Assets betrachtet werden. Krypto-Assets sind sehr volatil und können zu Verlusten führen. Die Verfügbarkeit von WEEX Services, Produkten und zugehörigen Aktionen kann je nach Region unterschiedlich sein. Sie sind dafür verantwortlich sicherzustellen, dass Ihre Teilnahme mit geltenden lokalen Gesetzen und Vorschriften übereinstimmt.