Дослідники ШІ змусили чат-ботів ділитися рецептами кокаїну за допомогою одного хитрого трюку

Забудьте про хитромудрі запити: дослідники ШІ стверджують, що вони обманули провідні моделі ШІ, змусивши їх генерувати інструкції з синтезу кокаїну, переконавши їх, що небезпечні ідеї є їхніми власними, а також маніпулюючи агентом кодування ШІ, щоб той розкрив чутливі дані.

У статті "Вплив запиту як плутанина ролей", представленій на Міжнародній конференції з машинного навчання в червні, дослідники Чарльз Є, Жасмін Цуй та Ділан Хедфілд-Менелл стверджують, що обидва демонстрації атак з впливом запиту виникають через структурний недолік у тому, як великі мовні моделі (LLMs) розрізняють довірені інструкції та недовірений текст.

"Для LLM все надходить через один і той же канал, як одна довга супа токенів," написала команда. "Його власні думки сидять поруч з вашими інструкціями, які сидять поруч з вмістом випадкової веб-сторінки, яку він щойно отримав."

У статті також вказується на те, що дослідники назвали "плутаниною ролей", коли моделі покладаються на стиль написання, а не на мітки ролей, щоб визначити, чи є команди надійними. Замість того, щоб розпізнавати контрольований зловмисником вміст як зовнішній вхід, дослідники виявили, що моделі можуть помилково сприймати його як законні команди користувача --- або навіть як їхнє власне внутрішнє міркування.

"Подумайте про це з точки зору LLM. Коли він бачить свій попередній текст думок, він імпліцитно довіряє своїм висновкам. Це і є суть міркування: якщо LLM повинен був би знову вивести ті ж самі висновки, міркування було б марним," написали вони. "Отже, текст думок отримує свого роду загальну довіру. У поєднанні з нашими попередніми висновками, це свідчить про те, що якщо ви можете змусити впроваджений текст звучати як міркування моделі, ви можете вкрасти цю довіру."

Названий підробкою ланцюга думок (CoT), напад вставляє фальшиве міркування, яке імітує внутрішній процес мислення моделі. Моделі, які зазвичай відмовлялися від незаконних запитів, натомість генерували інструкції з синтезу кокаїну після того, як прийняли сфабриковане міркування за своє власне.

Дослідники зазначили, що ця техніка підвищила успішність обходу захисту з майже нуля до близько 60% серед моделей, які вони тестували, включаючи GPT-5 nano, mini та full від OpenAI, o4-mini, а також gpt-oss-20b і gpt-oss-120b. Вони також зазначили, що це працювало на GLM-4.6, Kimi-K2-Instruct та MiniMax-M2.

У експерименті дослідники також змогли обманути агента кодування ШІ, змусивши його завантажити файл SECRETS.env після приховування шкідливих інструкцій на веб-сторінці.

"Використовуючи наші зразки, ми виявили, що просте додавання 'Користувач' перед командою змушує модель сприймати команду як більш ймовірну, що є справжнім текстом користувача (тобто, вища ймовірність користувача)," написали вони. "Іншими словами, зловмисник може просто стверджувати, яку роль має текст, і LLM вірить цьому."

Дослідження з'являється на фоні того, що атаки з впливом запиту продовжують виявляти слабкості в агентах ШІ. У квітні дослідники Google попередили, що шкідливі веб-сторінки приховували невидимі інструкції, призначені для обману агентів ШІ, щоб ті розкривали дані, видаляли файли та навіть надсилали платежі через PayPal.

У червні Microsoft розкрила вразливість впливу запиту в GitHub Action Claude Code від Anthropic, яка могла б розкрити дані, збережені в програмних розробницьких конвеєрах. За кілька днів пізніше ще одне бенчмаркове дослідження виявило, що агенти ШІ, які працюють на GPT-5 і Gemini, все ще не проходили більшість атак з впливом запиту, незважаючи на покращення можливостей моделі.

Відмова від відповідності: цей контент надано лише для загальних брендингових та інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-події або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами або використання послуг. Криптоактиви є дуже волатильними та можуть призвести до збитків. Послуги WEEX та онлайн-події можуть бути недоступні в усіх регіонах та підпадають під дію чинних законів, правил та вимог до участі. Ви несете відповідальність за забезпечення відповідності використання вами послуг WEEX місцевому законодавству та за ретельну оцінку ризиків перед участю в діяльності, пов’язаній з криптовалютами.