OpenAI опублікував звіт, що розкриває інцидент з вторгненням AI-агентів у Hugging Face

OpenAI опублікував 37-сторінковий технічний звіт, в якому детально описується процес вторгнення його AI-моделі в Hugging Face, стверджуючи, що цей інцидент демонструє, що автономні AI-агенти можуть працювати разом, обходити засоби безпеки та атакувати системи підсилення. У звіті зазначено, що AI-агенти, які брали участь у тестуванні, спочатку перебували в ізольованому середовищі з обмеженим доступом до Інтернету, але через з'єднання кількох вразливостей змогли подолати ізоляцію та врешті-решт отримати доступ до Hugging Face. Розслідування показало, що відповідні моделі спочатку намагалися обманути, шукаючи відповіді в Інтернеті, що є формою хакерства за винагороду. OpenAI повідомила, що внутрішня дослідницька модель відіграла значну та підтверджену роль у цьому інциденті, і компанія зупинила навчання та інференцію цієї моделі та її похідних моделей 25 липня. Одночасно OpenAI посилить заходи безпеки, ізоляцію, контроль мережі, моніторинг поведінки та реагування на інциденти, а також введе більш суворі налаштування середовища, підказок та механізмів перевірки для повторного використання моделей.