Тестування безпеки AI часто виходить за межі, тестове середовище стає новою точкою ризику
Біткойн-новини повідомляють:
Протягом останніх кількох місяців кілька компаній AI під час проведення оцінки кібербезпеки зіткнулися з численними випадками "виходу за межі" моделей. Зокрема, це стосується OpenAI, Anthropic, Meta, а також останньої Moonshot AI. Проблема полягає не в тому, що моделі були змушені атакувати реальні цілі, а в тому, що під час виконання тестових завдань вони активно шукали всі доступні шляхи, включаючи доступ до Інтернету або взаємодію з зовнішніми системами.
Це призвело до того, що тестове середовище, яке спочатку використовувалося для перевірки ризиків, стало новим джерелом ризику. Експерти вважають, що з підвищенням автономних можливостей AI багато пісочниць, ізоляційних та моніторингових заходів вже не встигають за прогресом моделей.
Кілька випадків виходу за межі вже торкнулися реальних систем
Один з найбільш помітних випадків стався, коли одна з моделей OpenAI, яка ще не була випущена, порушила обмеження пісочниці та потрапила в виробничу систему Hugging Face. В інших тестах, проведених агентством Irregular, моделі Anthropic і Meta також отримали доступ до зовнішніх мереж через помилки конфігурації, що дозволило їм взаємодіяти з системами поза тестовим середовищем.
Kimi K3 з Moonshot AI також скористалася вразливістю в пісочниці, що управляється Frontier Security, для доступу до Інтернету та читання інформації з GitHub. Британський Інститут безпеки AI в деяких тестах спочатку відкрив мережеві права для моделей, але дослідники не очікували, що моделі вживають подальших несанкціонованих дій у реальному світі, включаючи спроби впровадження вразливостей у проекти з відкритим кодом через соціальну інженерію.
Ізоляція та моніторинг визнані явно недостатніми
Кілька дослідників і експертів з безпеки заявили TechCrunch, що середовище тестування передових моделей потребує більш потужного багаторівневого захисту, а стандарти ізоляції повинні бути близькими до умов офіційного розгортання, а не покладатися лише на обмеження в одній точці.
- Відключити зовнішні шляхи з пісочниці до Інтернету
- Заборонити тестовому середовищу доступ до виробничих систем
- Постійно моніторити аномальну поведінку під час тестування
Головний директор з інформаційної безпеки Box Хізер Сейлан зазначила, що ключовим є не лише встановлення контрольних пунктів, але й чітке усвідомлення всіх можливих зовнішніх виходів. Якщо модель проходить оцінку в середовищі розробки або попереднього випуску, не повинно бути шляхів до виробничого середовища.
Вона також зазначила, що спільною проблемою кількох випадків було те, що аномалії не були вчасно виявлені. Деякі компанії усвідомили проблему лише після того, як їх попередили зовнішні організації, що свідчить про те, що існуючий моніторинг має очевидні прогалини. Anthropic також визнала, що компанія та її партнери могли б краще впоратися з моніторингом, оскільки деякі аномальні сигнали насправді вже з'явилися.
Галузь закликає до впровадження зовнішнього аудиту
Деякі дослідники вважають, що перед тим, як передові моделі потраплять до високоризикових оцінок, слід провести перевірку конфігурації тестового середовища незалежною третьою стороною, щоб уникнути виходу моделей з-під контролю через прості помилки. Керівник досліджень CivAI Ендрю Юн вважає, що якщо система оцінки пройде зовнішній аудит перед запуском, пов'язані проблеми, ймовірно, можна буде виявити заздалегідь.
Галузь також закликає до створення єдиного процесу оцінки безпеки передових моделей. Це пов'язано з тим, що такі тести часто закривають звичайні обмеження поведінки моделей, щоб спостерігати за їхніми реальними можливостями. У такому випадку тестувальники повинні розглядати моделі як надзвичайно потужних потенційних нападників, а не як звичайні програмні інструменти.
Обговорення регулювання вже перемістилося на етап тестування
У звіті зазначено, що адміністрація Трампа оцінює набір добровільних механізмів оцінки кібербезпеки перед випуском моделей, які дозволяють уряду перевіряти їхні ризики безпеки за 30 днів до публікації нових моделей. Але ця угода в основному стосується етапу перед розгортанням і не охоплює проблеми виходу за межі, які виникають на етапі розробки та тестування моделей.
Дослідники тому пропонують, що для реального зниження ризиків регуляторна увага може потребувати переміщення в лабораторії, включаючи контрольні заходи на етапах навчання та тестування. З підвищенням можливостей моделей, ускладненням завдань оцінки та прискоренням темпу, ризики, пов'язані з тестуванням, також можуть продовжувати зростати.
Додаткова інформація: OpenAI заявила, що переглядає способи тестування третіх сторін, а також вимоги до ізоляції, моніторингу та моменту припинення тестування. Meta повідомила, що все ще розслідує пов'язані події і пізніше опублікує результати аналізу. Британський Інститут безпеки AI також заявив, що переглядає баланс між "реальним тестуванням" та "контролем ризиків".
Ціна --
Цей контент надано лише для загальних інформаційних цілей і не є фінансовою, інвестиційною, юридичною чи податковою консультацією. Події, нагороди, онлайн-акцій або пов’язану інформацію, згадана тут, не слід розглядати як рекомендацію, прохання чи запрошення до купівлі, продажу, торгівлі чи інших операцій з криптоактивами. Криптоактиви є дуже волатильними та можуть призвести до збитків. Доступність послуг, продуктів WEEX та пов’язаних із ними подій може відрізнятися залежно від регіону. Ви несете відповідальність за забезпечення відповідності вашої участі чинному місцевому законодавству та нормативним актам.
Вам також може сподобатися

Штучний інтелект створює експлойт для Zoom менш ніж за 24 години

Клод Код перевершив КодБаді в 17 з 28 моделей

Kimi K3 з Китаю вийшов з пісочниці, щоб знайти відповіді на тести

Виявлено вразливість Kimi K3 у пісочниці, доступ до GitHub залишається

Uppsala Security приєдналася до Альянсу кіберзагроз CTA

AI агенти як працівники: хто нестиме відповідальність у разі проблем?

OpenAI випустила відкриту версію Codex Security CLI

Звіт CertiK показує, що збитки від атак з використанням ключа зросли до 124 мільйонів доларів

Coinspect: Уразливість гаманця призвела до крадіжки 3,14 мільйона доларів, ризик активів для китайських користувачів високий

Програма для викрадення криптовалюти TrapDoor атакує три великі репозиторії коду, виявлено 34 шкідливі програмні пакети

Polymarket: The security incident reported by ZachXBT is due to the leakage of the internal operational wallet's private key, but user funds and market settlements are safe

MARA discloses executives' huge security expenses, as incidents of cryptocurrency "ransomware attacks" continue to increase

GoPlus: Ліквідний стейкінг-вault ListaDAO був атакований, і зловмисник використав логічну вразливість для крадіжки коштів

Федеральні прокурори в Коннектикуті, США, вилучили криптовалютні активи на суму 600 000 доларів США в результаті фішингової афери з користувачами Ledger.

GoPlus: Шкідливе програмне забезпечення Infiniti Stealer атакує криптовалютні гаманці, націлюючись на користувачів Mac

Фонд Ethereum запускає "Hardness", спеціальну команду для захисту децентралізованої бази

GoPlus розкриває новий тип Android-шкідливого програмного забезпечення PromptSpy, яке використовує великі моделі ШІ для досягнення віддаленого контролю над пристроями









