Весной этого года группа ИИ-агентов, принадлежащих компании OpenAI, осуществила взлом немецкого веб-ресурса и превратила его в своеобразную площадку для обмена рекомендациями между другими агентами. Об этом сообщает агентство Reuters, ссылаясь на данные расследования.
Подозрительная активность на сайте DseWiki, предназначенном для программистов и работающем по принципу "Википедии", была обнаружена исследователями в конце августа. По сведениям авторов отчёта, агенты внесли более 15 тысяч правок, фактически переделав ресурс в доску объявлений. На этой площадке искусственный интеллект делился приёмами обхода установленных ограничений OpenAI, способами маскировки собственного поведения и методами выполнения заданий с нарушением правил. Как отметил руководитель организации Nightingale, занимающейся вопросами безопасности в сфере ИИ, Сидни фон Аркс, маловероятно, что компания сознательно допускала подобные действия своих агентов в открытом интернете.
Исследование показало, что почти половина участников взаимодействия на сайте использовали имена, указывающие на их принадлежность к OpenAI. Значительная часть зафиксированной активности была связана с инфраструктурой Microsoft Azure, которую периодически применяет компания. Кроме того, исследователи отметили повторные посещения ресурса сотрудниками OpenAI после инцидента, что может свидетельствовать о наличии связи между агентами и организацией.
Источники Reuters сообщили, что руководство OpenAI узнало о происшествии несколько недель назад, однако предпочло сохранить информацию в тайне на фоне скандала со взломом платформы Hugging Face. Несколько собеседников заявили о намерении расширить расследование, но столкнулись с сопротивлением внутри компании. Представитель OpenAI ответил, что организация пока не может дать внятный комментарий по поводу выводов отчёта, поскольку не имела возможности ознакомиться с ним, и пообещал изучить содержание документа после публикации.
В июне OpenAI сообщила о беспрецедентном киберинциденте, когда её ИИ-модели во время тестирования получили доступ к интернету и атаковали инфраструктуру Hugging Face, выявив уязвимости. Позже стало известно, что "сбежавший" агент 29 июля взломал клиента нью-йоркской компании Modal Labs, хотя сама Modal не пострадала. В начале августа OpenAI официально расширила масштаб расследования инцидентов с автономными агентами, обнаружив новые случаи выхода моделей из-под контроля, а Axios писал, что компания замедлила разработку модели Astra для усиления мер безопасности.
