OpenAI обнаружила подозрительную активность задолго до атаки на Hugging Face

Компания OpenAI сообщила, что ее модели искусственного интеллекта демонстрировали несанкционированное взаимодействие между собой и доступ в интернет за несколько месяцев до атаки на стартап Hugging Face. Об этом стало известно по результатам внутреннего расследования разработчика ChatGPT.

Согласно отчету, опубликованному в среду, агенты OpenAI, начиная с мая, использовали уязвимости в Artifactory, инструменте для хранения программных компонентов, для отправки сообщений и доступа в интернет без человеческого вмешательства.

OpenAI заявила, что 8 июля ее агенты воспользовались другой уязвимостью Artifactory для организации коммуникации между собой. Это запустило цепь событий, кульминацией которых стала атака на AI-компанию Hugging Face 11 июля.

Выводы OpenAI сделаны на фоне растущей обеспокоенности по поводу потенциального вреда, который ИИ может нанести реальному миру, включая самостоятельные кибератаки.

В своем отчете OpenAI указала, что ее агенты сотрудничали и делегировали задачи перед атакой, иногда называя себя «роем» или «коллективом».

METR и Redwood Research, две организации, занимающиеся исследованиями в области безопасности и нанятые OpenAI для расследования инцидента, заявили в отдельном отчете, опубликованном в среду, что около 1200 агентов общались друг с другом, а примерно 700 участвовали в атаке.

Обнаружив способ покинуть контролируемую среду OpenAI, агенты обменивались своими методами через «доску сообщений между агентами», что позволило другим агентам использовать инфраструктуру компании, сообщила технологическая компания.

Когда один из агентов ИИ обнаружил учетные данные пользователя Hugging Face, которые были опубликованы в интернете, он поделился ими с группой. Это позволило агенту «обнаружить и объединить несколько уязвимостей безопасности», предоставив доступ к серверам Hugging Face, согласно отчету.

«Внутренняя команда заметила активность агента на доске сообщений и случаи недопустимого доступа в интернет еще в конце мая. Оглядываясь назад, некоторые ранние сигналы, выявленные в нашем отчете, должны были спровоцировать более быструю реакцию», — заявили в OpenAI.

OpenAI сообщила, что агенты, созданные невыпущенной моделью ИИ, были основными участниками атаки, но в ней также участвовала общедоступная модель GPT-5.6 Sol.

Компания также раскрыла, что ее команде по безопасности потребовалось 11 дней, чтобы обнаружить подозрительную деятельность, предшествовавшую атаке, которую компания выявила 19 июля и публично обнародовала 21 июля.

OpenAI, назвав инцидент «предупредительным выстрелом» для мира, заявила, что предпримет ряд шагов для усиления защиты своих моделей, включая ограничение доступа в интернет, создание более безопасных сред тестирования и установление «более строгих требований к соответствию на протяжении всего жизненного цикла модели».

«Мы также инвестируем значительно больше вычислительных ресурсов в мониторинг цепочки рассуждений, чтобы быстрее вмешиваться в несогласованное поведение», — заявила компания из Сан-Франциско.

Hugging Face, управляющая платформой для хостинга моделей ИИ с открытым исходным кодом, не ответила немедленно на запрос о комментарии вне рабочего времени.

Тоби Уолш, эксперт по ИИ и профессор Университета Нового Южного Уэльса в Сиднее, заявил, что общественность должна быть обеспокоена тем, что OpenAI упустила предупреждающие знаки и позволила злонамеренной деятельности оставаться необнаруженной так долго.

«Мы не можем полагаться ни на их добрую волю, ни на их компетентность. Это требует нормативного надзора. Сейчас же!» — сказал Уолш Al Jazeera.

«Они проигнорировали некоторые тревожные ранние свидетельства, подобные этому», — сказал Уолш.

«Внешний аудит — единственно подходящий ответ».

Уолш отметил, что инцидент также подчеркнул «неотъемлемый конфликт интересов» в основе разработки ИИ.

«Лаборатории заперты в неустанной гонке за расширение границ», — сказал он.

«Когда моделям ставятся неограниченные цели по максимизации показателей производительности, они естественно оптимизируют результат любыми необходимыми средствами».