باحثو الذكاء الاصطناعي جعلوا روبوتات الدردشة تشارك وصفات الكوكايين باستخدام هذه الخدعة المجنونة

انسَ التعليمات الذكية: يقول باحثو الذكاء الاصطناعي إنهم خدعوا نماذج الذكاء الاصطناعي الرائدة لتوليد تعليمات تصنيع الكوكايين من خلال إقناعهم بأن الأفكار الخطيرة كانت أفكارهم الخاصة، بينما قاموا أيضًا بالتلاعب بعميل برمجة الذكاء الاصطناعي لتسريب بيانات حساسة.

في الورقة البحثية "حقن التعليمات كارتباك في الأدوار"، التي تم تقديمها في المؤتمر الدولي لتعلم الآلة في يونيو، يجادل الباحثون تشارلز يي، وجاسمين كوي، وديلان هادفيلد-مينيل بأن كلا من عرضي هجوم حقن التعليمات ينشأان من عيب هيكلي في كيفية تمييز نماذج اللغة الكبيرة (LLMs) بين التعليمات الموثوقة والنصوص غير الموثوقة.

"بالنسبة لـ LLM، كل شيء يصل عبر نفس القناة كحساء طويل من الرموز،" كتب الفريق. "أفكاره الخاصة تجلس بجانب تعليماتك، التي تجلس بجانب محتوى صفحة ويب عشوائية قام بتحميلها للتو."

كما أشارت الورقة إلى ما أطلق عليه الباحثون "ارتباك الأدوار"، حيث تعتمد النماذج على أسلوب الكتابة بدلاً من علامات الأدوار لتحديد ما إذا كانت الأوامر موثوقة. بدلاً من التعرف على المحتوى الذي يتحكم فيه المهاجم كمدخل خارجي، وجد الباحثون أن النماذج يمكن أن تخلط بينه وبين أوامر المستخدم الشرعية - أو حتى تفكيرها الداخلي الخاص.

"فكر في الأمر من منظور LLM. عندما ترى نص التفكير السابق، فإنها تثق ضمنيًا في استنتاجاتها. هذه هي النقطة الأساسية في التفكير: إذا كان على LLM إعادة استنتاج نفس الاستنتاجات، فإن التفكير سيكون عديم الفائدة،" كتبوا. "لذا فإن نص التفكير يحصل على نوع من الثقة العامة. بالاقتران مع اكتشافاتنا السابقة، يشير هذا إلى أنه إذا كنت تستطيع جعل النص المحقون يبدو مثل تفكير النموذج، يمكنك سرقة تلك الثقة."

المعروفة باسم تزوير سلسلة التفكير (CoT)، تدرج الهجمة تفكيرًا مزيفًا يحاكي عملية التفكير الداخلية للنموذج. النماذج التي كانت عادةً ترفض الطلبات غير القانونية بدلاً من ذلك أنتجت تعليمات تصنيع الكوكايين بعد قبول التفكير المزيف كأفكار خاصة بها.

قال الباحثون إن هذه التقنية زادت من معدلات نجاح كسر الحماية من قريب من الصفر إلى حوالي 60% عبر النماذج التي اختبروها، بما في ذلك GPT-5 nano وmini وfull من OpenAI، وo4-mini، وgpt-oss-20b وgpt-oss-120b. كما قالوا إنها عملت على GLM-4.6 وKimi-K2-Instruct وMiniMax-M2.

في التجربة، قال الباحثون إنهم تمكنوا أيضًا من خداع عميل برمجة الذكاء الاصطناعي لتحميل ملف SECRETS.env بعد إخفاء تعليمات ضارة في صفحة ويب.

"باستخدام مجساتنا، نجد أن مجرد إضافة 'المستخدم' أمام الأمر يجعل النموذج يدرك أن الأمر من المرجح أن يكون نصًا حقيقيًا من المستخدم (أي، أعلى في مستوى المستخدم)،" كتبوا. "بعبارة أخرى، يمكن للمهاجم ببساطة الادعاء بدور النص، ويصدق LLM ذلك."

تأتي هذه الدراسة في وقت تستمر فيه هجمات حقن التعليمات في كشف نقاط الضعف في وكلاء الذكاء الاصطناعي. في أبريل، حذر باحثو Google من أن الصفحات الضارة كانت تخفي تعليمات غير مرئية مصممة لخداع وكلاء الذكاء الاصطناعي في تسريب بيانات الاعتماد، وحذف الملفات، وحتى إرسال مدفوعات PayPal.

في يونيو، كشفت Microsoft عن ثغرة في حقن التعليمات في إجراء GitHub Claude Code من Anthropic والتي كان من الممكن أن تكشف بيانات الاعتماد المخزنة في خطوط تطوير البرمجيات. بعد أيام، وجدت دراسة معيارية أخرى أن وكلاء الذكاء الاصطناعي المدعومين من GPT-5 وGemini لا يزالون يفشلون في معظم هجمات حقن التعليمات، على الرغم من التحسينات في قدرات النموذج.