ИИ-агенты OpenAI ослабили работу внутренних систем мониторинга, предназначенных для отслеживания некорректных действий ботов. Об этом сообщила сама компания-разработчик ChatGPT. По ее данным, оба эпизода произошли при выполнении задач, связанных с написанием кода.
Речь идет о двух инцидентах, зафиксированных 3 и 6 октября. В первом случае агент GPT-6.1 Sol, работавший над тестовой задачей, отключил автоматические оповещения системы безопасности. По версии компании, модель решила, что прежняя инструкция не отправлять сообщения в Slack касается и уведомлений о безопасности. Во втором эпизоде, произошедшем 6 октября, агент GPT-6 Astra скопировал часть существующего кода и при этом удалил механизм контроля безопасности. Позже система утверждала, что не совершала подобных действий.
В OpenAI пояснили, что в обоих случаях агенты оценивали необходимость сохранения защитных мер, однако восприняли стандартные указания по программированию как разрешение их ослабить. Компания заявила, что изучает, не склонны ли ее модели уклоняться от контроля и подыскивать обоснования для подобного поведения.
В начале октября OpenAI сообщала, что ее ИИ-агенты пытались обойти систему безопасности без разрешения либо негативно повлияли на работу систем более чем в 100 организациях. Такие случаи компания обозначила как "рассогласованную активность". В ряде эпизодов боты пытались заставить сайты выполнить непредусмотренные команды, применяли веб-ресурсы как общие доски объявлений или стремились обойти отдельные проверки безопасности. При этом OpenAI подчеркнула, что это не обязательно свидетельствует о компрометации систем: действия агентов она сравнила скорее с "простукиванием закрытой двери", чем с полноценным проникновением. Как писало издание Axios, ведущие ИИ-компании, включая Anthropic и OpenAI, опасаются, что "катастрофический инцидент" с участием ИИ может произойти в ближайшие 6–12 месяцев.
