محققان هوش مصنوعی با این ترفند عجیب، ربات‌های چت را به اشتراک‌گذاری دستورالعمل‌های ساخت کوکائین وادار کردند

فراموش کنید که از دستورات هوشمند استفاده کنید: محققان هوش مصنوعی می‌گویند که آنها مدل‌های پیشرفته هوش مصنوعی را فریب داده‌اند تا دستورالعمل‌های سنتز کوکائین را تولید کنند، با این توجیه که ایده‌های خطرناک متعلق به خودشان است و همچنین یک عامل کدنویسی هوش مصنوعی را به افشای اطلاعات حساس وادار کرده‌اند.

در مقاله‌ای با عنوان "تزریق دستور به عنوان سردرگمی نقش"، که در کنفرانس بین‌المللی یادگیری ماشین در ژوئن ارائه شد، محققان چارلز ی، جاسمین کوی و دیلن هادفیلد-منل ادعا می‌کنند که هر دو نمایش حمله تزریق دستور ناشی از یک نقص ساختاری در نحوه تمایز مدل‌های زبان بزرگ (LLMs) از دستورات معتبر و متن‌های غیرمعتبر است.

"برای یک LLM، همه چیز از طریق یک کانال به عنوان یک سوپ توکن طولانی می‌رسد،" تیم نوشت. "افکار خود آن در کنار دستورات شما نشسته است، که در کنار محتوای یک وب‌سایت تصادفی که تازه بارگذاری کرده است، قرار دارد."

این مقاله همچنین به آنچه محققان "سردرگمی نقش" نامیدند، اشاره کرد، با مدل‌هایی که به جای برچسب‌های نقش، به سبک نوشتن تکیه می‌کنند تا تعیین کنند که آیا دستورات قابل اعتماد هستند یا خیر. به جای شناسایی محتوای تحت کنترل مهاجم به عنوان ورودی خارجی، محققان دریافتند که مدل‌ها می‌توانند آن را به عنوان دستورات معتبر کاربر اشتباه بگیرند---یا حتی استدلال‌های داخلی خودشان.

"به این موضوع از دیدگاه LLM فکر کنید. وقتی متن فکر قبلی خود را می‌بیند، به طور ضمنی به نتایج خود اعتماد می‌کند. این کل هدف استدلال است: اگر LLM مجبور بود همان نتایج را دوباره به دست آورد، استدلال بی‌فایده می‌شد،" آنها نوشتند. "بنابراین متن فکر نوعی اعتماد عمومی دریافت می‌کند. ترکیب با یافته‌های قبلی ما، این نشان می‌دهد که اگر بتوانید متن تزریقی را طوری بسازید که شبیه استدلال مدل باشد، می‌توانید آن اعتماد را بدزدید."

این حمله که "تقلب زنجیره‌ای از فکر" (CoT) نامیده می‌شود، استدلال‌های جعلی را وارد می‌کند که شبیه فرآیند تفکر داخلی یک مدل است. مدل‌هایی که معمولاً درخواست‌های غیرقانونی را رد می‌کنند، پس از پذیرش استدلال‌های جعلی به عنوان استدلال خود، دستورالعمل‌های سنتز کوکائین را تولید کردند.

محققان گفتند که این تکنیک نرخ موفقیت فرار از زندان را از نزدیک به صفر به حدود 60٪ در میان مدل‌هایی که آزمایش کردند، از جمله GPT-5 نانو، مینی و کامل OpenAI، o4-mini، و gpt-oss-20b و gpt-oss-120b افزایش داد. آنها همچنین گفتند که این روش بر روی GLM-4.6، Kimi-K2-Instruct و MiniMax-M2 نیز کار می‌کند.

در این آزمایش، محققان گفتند که همچنین توانستند یک عامل کدنویسی هوش مصنوعی را فریب دهند تا یک فایل SECRETS.env را بارگذاری کند، پس از اینکه دستورالعمل‌های مخرب را در یک وب‌سایت پنهان کردند.

"با استفاده از پروب‌های ما، متوجه می‌شویم که تنها با افزودن 'کاربر' در جلوی دستور، مدل این دستور را به عنوان متن واقعی کاربر بیشتر درک می‌کند (یعنی، احتمال بالاتر کاربر بودن)،" آنها نوشتند. "به عبارت دیگر، مهاجم فقط می‌تواند ادعا کند که متن چه نقشی دارد و LLM به آن اعتقاد دارد."

این مطالعه در حالی انجام می‌شود که حملات تزریق دستور همچنان ضعف‌های موجود در عوامل هوش مصنوعی را نمایان می‌سازد. در آوریل، محققان گوگل هشدار دادند که صفحات وب مخرب دستورالعمل‌های نامرئی را پنهان کرده‌اند که به منظور فریب عوامل هوش مصنوعی برای افشای اطلاعات، حذف فایل‌ها و حتی ارسال پرداخت‌های PayPal طراحی شده‌اند.

در ژوئن، مایکروسافت یک آسیب‌پذیری تزریق دستور را در عمل GitHub کلاود کد آنتروپیک فاش کرد که می‌توانست اطلاعات ذخیره شده در خطوط توسعه نرم‌افزار را افشا کند. چند روز بعد، یک مطالعه مرزی دیگر نشان داد که عوامل هوش مصنوعی که توسط GPT-5 و Gemini پشتیبانی می‌شوند، هنوز در اکثر حملات تزریق دستور شکست می‌خورند، با وجود بهبود در قابلیت‌های مدل.

سلب مسئولیت: این محتوا صرفاً برای اطلاع‌رسانی عمومی و برندینگ ارائه شده و به‌ منزله مشاوره مالی، سرمایه‌گذاری، حقوقی یا مالیاتی تلقی نمی‌گردد. هیچ‌یک از رویدادها، جوایز، رویدادهای آنلاین یا اطلاعات مرتبط ذکرشده در اینجا نباید به‌عنوان توصیه، درخواست یا دعوت برای خرید، فروش، معامله یا هرگونه اقدام دیگر در رابطه با دارایی‌های رمزارزی یا استفاده از خدمات تلقی شوند. دارایی‌های رمزارزی با نوسانات بالایی همراه بوده و ممکن است منجر به زیان شوند. خدمات WEEX و رویدادهای آنلاین ممکن است در تمام مناطق در دسترس نبوده و مشمول قوانین، مقررات و شرایط احراز صلاحیت مربوطه هستند. شما مسئول رعایت قوانین محلی در استفاده از خدمات WEEX هستید و باید پیش از انجام هرگونه فعالیت مرتبط با ارزهای دیجیتال، ریسک‌های آن را به‌دقت بررسی کنید.