Компания OpenAI, разработавшая популярный чат-бот ChatGPT, придумала, как отучить его врать пользователям. Даже четвертая версия бота все еще может увлеченно рассказывать истории, которые при проверке оказываются целиком выдуманными.
Разработчики пришли к выводу, что ИИ врет, когда испытывает состояние неопределенности. Цель робота – дать правильный окончательный вывод, а детали при этом могут быть искажены каким угодно образом. В докладе инженеров OpenAI говорится, что решить эту проблему можно будет, научив искусственный интеллект вознаграждать себя за каждый верный шаг в цепочке рассуждений.
"Обнаружение и смягчение логических ошибок модели или галлюцинаций – критически важный шаг на пути к созданию согласованного искусственного интеллекта общего назначения (AGI – прим.)", – пояснил один из сотрудников компании Карл Коббе.
Склонность ИИ к сочинительству – одно из главных препятствий к его прикладному использованию. Даже одна ошибка в процессе поиска ответа может привести к значительным искажениям. Исследователи пытаются свести стратегию поиска ответов к логическому процессу, свойственному людям.
Весной итальянские правоохранители начали расследование относительно OpenAI и работы ChatGPT. Управление по защите персональных данных Италии планирует выяснить, соблюдает ли чат-бот Общий регламент защиты персональных данных, действующий на территории Евросоюза. Италия не первая страна, в которой запрещают работу ChatGPT. Вскоре после запуска бота его "забанили" власти Китая из-за того, что он не соблюдал цензурные ограничения; на похожие меры ради "соблюдения норм демократии и транспарентности" готово пойти правительство Германии.
Ранее группа экспертов и предпринимателей, включая миллиардеров Илона Маска и Стива Возняка, подписала открытое письмо с призывом остановить разработку систем искусственного интеллекта из-за угроз, которые они несут обществу и человечеству. Они призвали ИИ-лаборатории перестать обучать системы мощнее GPT-4, пока не будут созданы общие протоколы безопасности.
