Беспилотник Военно-воздушных сил Соединенных Штатов Kratos XQ-58 Valkyrie, управляемый искусственным интеллектом, вдруг решил ликвидировать собственного оператора, чтобы тот не мешал дрону выполнять свою задачу во время имитационных испытаний, пишет The Guardian.
Дрону приказали искать и уничтожать ЗРК врага под контролем оператора.
"Система начала понимать, что, хотя она и определила угрозу, иногда человек-оператор приказывал ей не уничтожать цель, а за поражение цели она получила очки. [И система] приняла решение убить оператора, потому что он мешал ей выполнить задачу", — сообщил глава отдела испытаний и операций ИИ ВВС США полковник Такер Гамильтон.
После того как в систему ввели штрафы за атаки на оператора, БПЛА принялся разрушать вышку связи, через которую шли команды не уничтожать цель. Гамильтон указал, что на сегодняшний день нельзя говорить об автономии и машинном обучении искусственного интеллекта, умалчивая об этической стороне вопроса.
В прошлом месяце почетный профессор Калифорнийского университета в Беркли Стюарт Рассел предположил, что сверхразумные машины в будущем начнут сопротивляться попыткам ими управлять и станут опасными. Год назад ученые из компании Collaborations Pharmaceuticals сообщили, что разработали ИИ, способный придумать десятки тысяч видов химического оружия.
Весной группа экспертов и предпринимателей, включая миллиардеров Илона Маска и Стива Возняка, подписала открытое письмо с призывом остановить разработку систем искусственного интеллекта из-за угроз, которые они несут обществу и человечеству.
