تسليم Tencent Hy3 بإصدارات ضغط 1bit و 4bit

أصدرت Tencent Hy3 إصدارات ضغط 1bit و 4bit، مما خفض بشكل كبير من عتبة نشر نموذج يحتوي على 295 مليار معلمة. الوزن الأصلي لـ Hy3 يقارب 600 جيجابايت، بينما تم تقليص إصدار 1bit إلى 85.5 جيجابايت، ويمكن تشغيله باستخدام بطاقة رسومية من نوع NVIDIA H20 بسعة 96 جيجابايت. عند التشغيل باستخدام بطاقة واحدة، يحتاج المستخدم إلى إيقاف بعض ميزات التسريع وتقليل طول النص المعالج بواسطة النموذج. بعد استخدام بطاقتين من نوع H20، يمكن تفعيل التسريع. حجم إصدار 4bit هو 169.9 جيجابايت، ويتطلب على الأقل بطاقتين من نوع H20، ورغم أنه يشغل ذاكرة رسومية أكبر، إلا أن أدائه أقرب إلى النموذج الأصلي. ذكرت Tencent Hy3 أن إصدار 4bit قريب من النموذج الأصلي في الأكواد، واستدعاء الأدوات، وفهم النصوص الطويلة، ومهام الوكيل، بينما إصدار 1bit يعاني من انخفاض طفيف فقط. بعد تفعيل تسريع التوليد، زادت سرعة إصدار 1bit بنحو 50%، بينما زادت سرعة إصدار 4bit بنحو 60%. بالإضافة إلى ذلك، قدمت Tencent Hy3 إصدار 4bit مناسب للنشر على الخوادم، يمكن تحويله إلى واجهة برمجة التطبيقات (API) لاستخدامه من قبل عدة مستخدمين أو تطبيقات.