AMD تطلق نموذج MoE مفتوح المصدر Instella-MoE بحجم 16 مليار معلمة

أطلقت شركة AMD في 25 يوليو نموذج MoE مفتوح المصدر بالكامل Instella-MoE، والذي يحتوي على إجمالي 16 مليار معلمة، حيث يتم تفعيل 2.8 مليار معلمة لكل توكن، مما يوفر أداءً رائدًا. يعتمد هذا النموذج على وحدات معالجة الرسوميات AMD Instinct MI300X وMI325X، بالإضافة إلى مجموعة برمجيات ROCm، وتم تدريبه من الصفر باستخدام ابتكارات معمارية مثل Gated Multi-head Latent Attention وFarSkip-Collective، مما يعزز كفاءة التدريب والاستدلال. أظهرت اختبارات الأداء أن النموذج الأساسي Instella-MoE-16B-A3B حقق متوسط درجة 76.7، مما يجعله في الصدارة بين النماذج المفتوحة المصدر، متفوقًا على نماذج مثل SmolLM3-3B وOLMo-3-7B، ويتنافس مع نماذج أكبر حجمًا مع تفعيل 2.8 مليار معلمة فقط. يدعم هذا النموذج معالجة سياقات طويلة تصل إلى 64K توكن، ويكمل عمليات التدريب الكاملة بما في ذلك التدريب المسبق، والتدريب الوسيط، وتوسيع السياقات الطويلة، والتعديل الإشرافي، وتحسين التفضيلات المباشرة، والتعلم المعزز. كما أعلنت AMD عن جميع أوزان نموذج Instella-MoE، وتكوينات التدريب، ونسب البيانات، ونقاط التحقق الوسيطة، وكود الاستدلال، مما يعزز البحث وإعادة إنتاج نماذج الذكاء الاصطناعي المفتوحة. وأكدت AMD أن Instella-MoE يظهر قدرة تدريب نماذج MoE واسعة النطاق على أساس الأجهزة والبرمجيات المفتوحة من AMD، وستواصل الشركة دفع تطوير نماذج لغوية مفتوحة المصدر بحجم أكبر، وأداء استدلال أقوى، وكفاءة أعلى في المستقبل.

إخلاء مسؤولية: يُقدَّم هذا المحتوى لأغراض الترويج العام والمعلومات فقط، ولا يُعدّ نصيحة مالية أو استثمارية أو قانونية أو ضريبية. لا تُعتبر أي أحداث أو مكافآت أو فعاليات عبر الإنترنت أو معلومات ذات صلة مذكورة هنا توصيةً أو دعوةً لشراء أو بيع أو تداول أو التعامل بأي شكل من الأشكال في أي أصول مشفرة أو استخدام أي خدمات. الأصول المشفرة شديدة التقلب وقد تؤدي إلى الخسارة. قد لا تتوفر خدمات WEEX وفعالياتها عبر الإنترنت في جميع المناطق، وتخضع للقوانين واللوائح وشروط الأهلية المعمول بها. أنت مسؤول عن ضمان توافق استخدامك لخدمات WEEX مع القوانين المحلية، وعن تقييم المخاطر بعناية قبل المشاركة في أي أنشطة متعلقة بالعملات المشفرة.