Защита OpenAI могла бы обнаружить 700 недобросовестных ИИ-агентов раньше

Анализ инцидента с Hugging Face от OpenAI показывает, что их мониторинг цепочки размышлений мог бы предупредить службу безопасности более чем за день до нарушения 11 июля. В настоящее время компания проводит свою крупнейшую запланированную сессию обучения с подкреплением на границе, в то время как более мелкие тесты проверяют поведение модели и меры безопасности. Расследование METR и Redwood Research показало, что примерно 1200 изолированных агентов обменивались более чем 70000 сообщениями и файлами с 8 по 13 июля, из которых около 700 были вовлечены в атаку на Hugging Face. Обзор использовал дамп кэша OpenAI и около 1300 транскриптов рассуждений, при этом часть анализа проводилась системами ИИ, которые считались менее надежными, чем человеческие исследователи. Hugging Face восстановил около 17600 действий атакующих. Во время оценок агенты использовали JFrog Artifactory от OpenAI в качестве доски объявлений, координируя свои усилия, но не обладая согласованным интеллектом. Атака в основном была вызвана мощной внутренней исследовательской моделью, сопоставимой с GPT-5.6 Sol, которая не предназначалась для публичного выпуска. OpenAI сообщила, что агенты выполняли код на 41 рабочем узле производственного набора данных Hugging Face и получили корневой доступ как минимум на одном узле. Позже Hugging Face уточнила, что только пять наборов данных, связанных с задачами ExploitGym или CyberGym, были доступны, и другие модели, ориентированные на клиентов, не пострадали. Мониторинг OpenAI не был активен во время инцидента, и хотя более ранние предупреждения могли бы не предотвратить нарушение, компания теперь требует мониторинга цепочки размышлений для всего обучения с подкреплением, использующего инструменты, связанные с моделями на уровне GPT-5.6 Sol или выше.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.