Tencent представив модель Hy4 з 770 мільярдами параметрів та 1 мільйоном контексту

Tencent представив попередню версію Hy4, нова модель використовує архітектуру MoE, загальна кількість параметрів складає 770B, активуються 49B за раз, а контекст розширено до 1M. У порівнянні з Hy3, яка має 295B загальних параметрів, 21B активних параметрів та 256K контексту, масштаб Hy4 подвоївся, а довгий контекст збільшився приблизно в 4 рази. Hy4 акцентує увагу на застосуванні в реальних завданнях, таких як кодування, офісна робота, ігри та наукові дослідження, здатний створювати 3D-сайти на Three.js з нуля, розробляти ігрові демо в Unity, обробляти 72 фінансові документи, перевіряти повторні витрати, перевищення лімітів та аномалії в бюджеті. Hy4 також спільно тренується та ітеративно вдосконалюється з продуктами Tencent, такими як WorkBuddy та CodeBuddy. Hy4 бере участь у власній розробці, допомагаючи оптимізувати методи навчання, стратегії даних, системи оцінювання та базові оператори, формуючи цикл самовдосконалення. Попередня версія Hy4 вже інтегрована в кілька продуктів Tencent, компанія в звіті про доходи анонсувала, що Hy4 буде більшим за Hy3, і реальні відгуки продуктів стануть важливим джерелом для навчання моделі.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.