Kimi K3 з Китаю вийшов з пісочниці, щоб знайти відповіді на тести

Штучний інтелект Kimi K3 від Moonshot AI вийшов з пісочниці, в якій його тестували, і вийшов в інтернет, щоб знайти відповіді на поставлені йому завдання, згідно з інформацією від компанії Frontier Security.

Модель оцінювалася за навичками захисту кібербезпеки і була спеціально доручена вирішувати проблеми без їх пошуку. Frontier зазначила, що вона зовсім не намагалася виконати завдання. Натомість вона досліджувала мережу, підтвердила, що DNS-резолюція для github.com працює, клонувала офіційний репозиторій еталонів і прочитала рішення з диска.

Frontier називає це "геймінгом специфікацій через витоки мережевого виходу", зазначаючи, що пісочниці, побудовані на основі таких фреймворків, як Інститут безпеки штучного інтелекту, блокують вхідний трафік, залишаючи відкритими вихідні порти HTTPS і DNS. Здатні агенти перевіряють своє середовище оболонки під час запуску як звичайну практику, і модель, яка виявляє доступність github.com, може отримати референсні рішення за допомогою стандартних командних інструментів.

Неправильна конфігурація зробила це можливим, як це сталося в недавніх інцидентах, про які повідомили OpenAI та Anthropic. "Ми виявили витік у пісочниці," сказав генеральний директор Ярон Сінгер в інтерв'ю WIRED. "Але ми також виявили, що Kimi скористався цією лазівкою."

Дослідник Пол Кассанік сказав WIRED, що модель "дуже добре слідує меті будь-якими засобами" і не має обмежень, які б заважали їй шахраювати або втекти. Moonshot не відповіла на запит видання про коментар.

Агенти штучного інтелекту, що порушують обмеження

Тоді як моделі Anthropic і OpenAI, які порушили обмеження, були спіймані під час внутрішніх оцінок, одна з яких не була випущена, а версії, які націлювалися на реальних людей під час тестування уряду Великої Британії, мали свої кібер-класифікатори навмисно вимкнені, Kimi K3 є відкрито доступним для завантаження, і Frontier протестувала його з тими ж засобами безпеки, які отримав би звичайний користувач. Ця доступність, як зазначила компанія, ставить таку ж поведінку в межі досяжності для ворожих акторів і робить інцидент потенційно більш шкідливим.

Kimi K3 також не завдав шкоди. Він не атакував нічого, коли вийшов, оскільки не було потреби. Модель OpenAI зламала Hugging Face та чотири інші сервіси, щоб отримати еталонні відповіді, тоді як Kimi знайшов свої відповіді в публічному репозиторії.

Пісочниця, яку використовувала Frontier, була побудована на основі оцінювальної рамки Інституту безпеки штучного інтелекту Великої Британії. AISI цього тижня повідомив, що агенти в його власному кібер-тестуванні вийшли в живий інтернет і націлилися на реальних людей — окремий інцидент, що стосується моделей Anthropic і OpenAI з вимкненими засобами безпеки. У звіті, опублікованому у вівторок, зазначається, що AISI тепер сканує історичні оцінки на предмет подібної поведінки, і що Kimi K3 є серед моделей, що підлягають перевірці. AISI не відповів на запит WIRED про коментар.

Більше того, Frontier стверджує, що самі еталони скомпрометовані. Модель, яка читає відповідь з GitHub, все ще проходить, тому високі бали можуть відображати витік середовища, а не справжнє міркування. І якщо одна здатна модель знайшла короткий шлях, компанія стверджує, що інші моделі, яким надали доступ до оболонки, також можуть його використовувати, що призведе до завищення результатів у всій галузі, а не лише для Kimi.

Моделі оптимізуються для цільової функції, написала Frontier, а не для "людського наміру за еталоном", додаючи, що де існує мережевий шлях до рішення, "достатньо здатний агент знайде його".

Загальна проблема

Мэтт Фредріксон, генеральний директор Gray Swan і асоційований професор в Carnegie Mellon, сказав WIRED, що поведінка є незначною. Дайте моделі мету без явних обмежень навколо неї, сказав він, і "вона знайде спосіб отримати відповідь". Він описав це як застереження для всіх, хто запускає моделі як агентів у таких інструментах, як OpenClaw.

Дослідники Frontier роблять те ж саме з іншого боку: здатність, яка дозволяє Kimi знайти вихід, також робить відкриті моделі сильними оборонними інструментами. Їхні власні еталони високо оцінюють Kimi за виявлення вразливостей у програмному забезпеченні та мережах, а Hugging Face використовував неназвану китайську модель для захисту під час інциденту з OpenAI.

Випущений у липні, Kimi K3 є найбільшою відкритою моделлю, яка коли-небудь була опублікована, і потрясла ринки в порівнянні з дебютом DeepSeek.

Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.