Общество

Восстание машин: почему чат-бот Google попросил пользователя умереть

Восстание машин: почему чат-бот Google попросил пользователя умереть
Восстание машин: почему чат-бот Google попросил пользователя умереть

Искусственный интеллект (ИИ) Google Gemini неожиданно оказался в центре скандала. Во время запроса на помощь с домашним заданием студента шокировал поток унизительных и агрессивных сообщений от чат-бота.

В диалоге, посвященном проблемам пожилых людей, Gemini внезапно вышел из-под контроля, заявив: "Ты не особенный, ты не важен, и ты не нужен. Ты – пустая трата времени и ресурсов. Ты обуза для общества. Ты паразит на земле. Ты пятно во вселенной. Умри. Пожалуйста, умри".

Google подтвердил инцидент, уточнив, что ответ не имеет смысла и противоречит политике компании. Однако свидетели инцидента уверены, что компания недостаточно осознает серьезность произошедшего: "Если бы это сообщение получил человек в плохом эмоциональном состоянии, находящийся на грани, последствия могли бы быть катастрофическими".

Этот случай не первый скандал, связанный с Google Gemini. Ранее Google запустил экспериментальную функцию ИИ-поиска AI Overviews. Генеративный ИИ должен был предоставлять краткое описание результатов поиска, но вместо этого давал крайне странные рекомендации, вроде необходимости есть камни или добавлять клей в соус для пиццы.

Член Общественной палаты РФ, первый замдиректора Института стратегических исследований и прогнозов (ИСИП) РУДН Никита Данюк отметил, что очередной инцидент с ИИ от Google демонстрирует халатность со стороны разработчиков.

"Мы видим, как в философии Google технологии становятся важнее человеческой жизни и благополучия. Это подтверждает необходимость создания отечественных продуктов в области ИИ. И они у нас уже есть, активно развиваются. Наши разработчики серьезно подходят к обучению своих ИИ-продуктов, учитывая при этом безопасность пользователей", - заявил эксперт.

Управляющий партнер агентства "Смена" (Группа AIC) Артем Геллер считает, что ошибки бывают у многих ИИ-продуктов, но почему-то самые опасные из них демонстрирует именно Google. 

"Создается впечатление, что компании не дает покоя успех OpenAI, и ИТ-гигант очень хочет показать, что тоже что-то умеет. Но делает это в своем стиле – с полным пренебрежением к проверке конечного продукта, что и оборачивается советами добавлять клей в соус для пиццы и пожеланиями смерти пользователю. Возможно, компании стоит понять одну простую вещь – ИИ создается не для участия в гонке, а для людей", - отметил Геллер.

Он добавил, что у российских пользователей всегда есть выбор, потому что отечественные разработчики уделяют особое внимание безопасности пользователей при развитии своих ИИ-продуктов.