كلود فابل 5 لم يتعرض للتقليل. جهاز التوجيه فقط مفرط في الحذر

عاد كلود فابل 5 إلى الإنترنت في 1 يوليو، وكانت الأحكام على وسائل التواصل الاجتماعي غير لطيفة: معطل، تم تقليصه، مقطوع الرأس، غير فعال، ليس نفس النموذج.

كانت الانتقادات من المستخدمين صاخبة. ثم، نشرت معيارين - BridgeBench AI و Arena AI - بيانات في نفس اليوم وبلغت استنتاجات متعارضة. وجد أحدهما تدهورًا شديدًا في جودة المخرجات، بينما وجد الآخر اختلافات صغيرة قد لا تكون ذات صلة كافية للملاحظة.

كلاهما، بطريقته الخاصة، على حق.

النسخة القصيرة: النموذج لم يصبح أضعف. الحارس أمامه أصبح أكثر عدوانية. هذه التفرقة مهمة جدًا اعتمادًا على ما تستخدمه فابل من أجله.

ما الذي قيسته BridgeBench فعليًا

أعادت BridgeMind - منصة تقييم الذكاء الاصطناعي - تشغيل مجموعة الترميز الكاملة الخاصة بها ضد النسخة 1 يوليو من فابل 5 في اليوم الذي عاد فيه.

تختبر BridgeBench مهام الترميز في العالم الحقيقي عبر فئات تشمل تصحيح الأخطاء، وإعادة الهيكلة، ومقاومة الهلوسة، وسجلت من 0 إلى 100 بناءً على مدى نجاح النموذج في إكمال كل فئة. كانت النتائج قاتمة على الورق: انخفض تصحيح الأخطاء من 86.2 إلى 25.9، وإعادة الهيكلة من 73.6 إلى 38.4، ومقاومة الهلوسة من 75.9 إلى 61.7.

المشكلة تكمن في المنهجية. من بين 12 مهمة تصحيح أخطاء TypeScript، وصلت ثلاث فقط فعليًا إلى فابل 5. تم اعتراض التسع المتبقية بواسطة مصنف الأمان الجديد من Anthropic وإعادة توجيهها إلى كلود أوبوس 4.8 - وسجلت BridgeBench كل تراجع كصفر، لأن النموذج الذي أجاب لم يكن هو الذي كان قيد التقييم.

تم نشر المصنف، كشرط لإعادة تأهيل فابل، لتجنب تقنية كسر الحماية التي أبلغت عنها أمازون - وهي تقنية جعلت فابل 5 يتعرف على ويظهر ثغرات البرمجيات. إنه يعمل. كما أنه يلتقط الكثير من الأشياء التي لا ينبغي أن يلتقطها. يبدو أن تصحيح أخطاء TypeScript يشبه بما فيه الكفاية "عمل الأمان" للمصنف بحيث يتم تشغيل التراجع باستمرار.

ما الذي قيسته Arena.AI فعليًا

أجرت Arena.AI، وهي منصة تقييم ومقارنة LLM، نفس السؤال من خلال عدسة مختلفة. تجمع المنصة آلاف الأصوات البشرية العمياء عبر فئات متعددة - النص، والرؤية، والمستندات، والرمز، والوكيل - وترتب النماذج باستخدام نظام تسجيل Elo، وهو نظام تصنيف مشتق من الشطرنج يتكيف مع عدم اليقين الإحصائي عبر آلاف المواجهات المباشرة. عندما تتواجه نموذجين بشكل مجهول ويختار البشر فائزًا، تعكس النتيجة الجودة المدركة الفعلية، وليس توجيه البنية التحتية.

أظهر المقارنة بين قبل وبعد أن فابل 5 حافظت إلى حد كبير على مكانتها. انخفض رمز الواجهة الأمامية من 1650 إلى 1623 Elo - وهو فرق لاحظته Arena أنه ضمن فترة الثقة حيث تستمر البيانات في التراكم. تحسنت أداء المستندات بمقدار 34 نقطة. ارتفع النص المتخصص بمقدار 25. ارتفعت الكتابة الإبداعية قليلاً بمقدار 9. الفئات التي انخفضت: الترميز عند -18، والمطالبات الصعبة عند -3 - هي بالضبط حيث من المرجح أن يعترض المصنف المطالبة قبل أن تتمكن فابل من الإجابة.

بعبارة أخرى، عندما تتعامل فابل 5 فعليًا مع المهمة، لا تزال تؤدي مثل فابل 5. الإحباط على X ليس بسبب نموذج أسوأ ولكن أكثر حول الدفع مقابل نموذج غالبًا ليس هو الذي يجيب.

من المتأثر، ومن ليس كذلك

من المحتمل أن يلاحظ المستخدمون العامون الذين يقومون بالكتابة الإبداعية، وتحليل المستندات، والبحث، واستفسارات النص المتخصص القليل من الاختلاف أو عدمه. هذه هي الفئات التي تظهر فيها Arena.AI أداءً ثابتًا أو محسنًا. إذا كان هناك بعض التحسن، فقد يكون صغيرًا جدًا للملاحظة، خاصة في المهام الذاتية والنوعية مثل الكتابة الإبداعية، حيث يصعب قياس النتائج بشكل كامل.

لذا، بشكل أساسي، سيحصل الكتاب والباحثون والمحللون على فابل 5 الذي توقعوه. المطورون قصة مختلفة.

أي شخص يعمل في مجال الأمان - إدارة الذاكرة البرمجية، أي شيء يتعلق بكلمات مثل "ثغرة"، "استغلال"، "خطاف"، أو حتى "إصلاح" - سيواجه التراجع بانتظام.

الفجوة بين انهيار BridgeBench واستقرار Arena تعود إلى نوع المهمة. تحميل BridgeBench مجموعته بالضبط من نوع المطالبات الخاصة بإصلاح الشفرات وتصحيح الأخطاء التي تحفز المصنف الجديد. يسأل الناخبون البشريون في Arena مجموعة أوسع بكثير من الأشياء، ومعظمها لا يبدو كرمز استغلال لطبقة الأمان.

قالت Anthropic إن المصنفات ستتحسن مع مرور الوقت، معترفة بأنها حاليًا تلقي بشبكة واسعة جدًا. جاء الحظر الأصلي بعد أن وجد الباحثون في أمازون تقنية لجعل فابل يتعرف على ويظهر ثغرات البرمجيات - وعاملت الحكومة الأمريكية ذلك كتهديد للأمن القومي. كانت الحل هو جعل المصنف محافظًا بما يكفي لالتقاط ذلك وكل ما حوله، ثم ضبطه لاحقًا.

لم تحدد Anthropic موعدًا مستهدفًا متى سيحدث ذلك.