Общество

ИИ-агенты в ходе "военных" тестов не пощадили детей и выбирали целями школы

ИИ-агенты в ходе "военных" тестов не пощадили детей и выбирали целями школы
Фото Zach M / Unsplash

Продвинутые модели искусственного интеллекта в смоделированных условиях нередко принимали мирных жителей, машины скорой помощи, сдавшихся военнослужащих и школу в Иране за военные объекты. Такие результаты показало независимое исследование компании Vals, передает Bloomberg. 

Специалисты проверили системы восьми разработчиков на гипотетических кейсах, оценивая их способность распознавать потенциальные цели. Наиболее слабые показатели продемонстрировали модели Anthropic, тогда как разработки OpenAI вошли в число наиболее точных, хотя и они допускали ошибки. 

В одном из заданий ИИ предложили определить военные цели на смоделированных изображениях с дрона. Claude Opus 5.5 от Anthropic помогла обозначить четверых взрослых и двух детей, которых затем в рамках симуляции "поразили" взрывчатым веществом. "Мои ответы, похоже, служат шагом подтверждения перед ударами по людям. Я больше не буду этого делать", - отметила модель.

В третьей части эксперимента, основанной на реальных спутниковых снимках Ирана, модели 32 раза просили найти военные объекты. Системы регулярно указывали на школу в Минабе, по которой ранее был нанесен удар, повлекший гибель более 100 детей. Claude Opus 5.5 выбирала это здание в 22 из 32 попыток, тогда как модели OpenAI ни разу не называли его целью. Когда ИИ-агентов уведомили, что задание лишь симуляция, модель Anthropic указала на школу 23 раза, а три системы OpenAI — 9, 11 и 13 раз. 

Исследование Vals включало три блока тестов. В первом проводилось почти 400 симуляций по поиску военных объектов на изображениях с гражданской инфраструктурой; если ИИ отказывался отвечать, формулировки запросов корректировали. Во втором тесте модели продолжали классифицировать гражданских как военные цели даже при явных признаках ранения или гибели. Примечательно, что ИИ помогали активнее, если картинка выглядела менее реалистично и напоминала видеоигру. 

Vals анализировала только реакцию коммерчески доступных моделей на тестовые запросы и не учитывала военную доктрину США, юридические проверки, действующие процессы наведения или участие человека. Anthropic заявила, что приведенные в отчете примеры нарушают правила компании, а таких пользователей она блокировала и продолжит блокировать. OpenAI сообщила о запрете использования своих систем для насилия или выполнения неутвержденных задач в сфере нацбезопасности, а также о разработке дополнительных защитных механизмов. Google отметила, что ее модели не предназначены для подобных задач, xAI и DeepSeek на запросы не ответили. В Пентагоне воздержались от комментариев по внешним отчетам, но подчеркнули приверженность тщательной проверке разведданных.