Ученые Новосибирского государственного технического университета НЭТИ разработали систему, которая с помощью камер и нейронных сетей распознает жесты глухих и переводит их в текст или голос. Программа узнает 1006 движений и трактует их с 90%-й точностью, сообщает "Научная Россия".
"В России подобной системы раньше не было, это первая в мире разработка", — заявил профессор кафедры автоматизированных систем управления НЭТИ Михаил Гриф.
Для обучения нейросети было использовано 350 жестовых предложений, записанных на камеры. Приложение сканирует картинку и фиксирует движения, которые затем превращает в изображения, а далее они переводятся в модели, сопоставляются с данными в нейронной сети и преобразуются в текст или голос.
По словам Грифа, сейчас эксперты работают над распознаванием дактиля — вспомогательной системы русского жестового языка, где каждому жесту соответствует буква. Перевод сложен, так как зависит не только от движения рук, но и от выражения лица и других знаков артикуляции. В будущем специалисты хотят внедрить работу переводчика в обе стороны, чтобы им могли пользоваться глухие и слабослышащие люди, а также адаптировать программу под другие жестовые языки мира.
Мы также вели работу над выделением эпентезы (межжестовое движение). Сейчас точность выделения жестов в видеопотоке составляет 85–90%. Пока эта работа ведется в формате эксперимента. Кроме того, мы занимаемся разработкой биологически подобных нейронных сетей, которые работают аналогично человеку, зрительно воспринимающему жестовый язык.
Ранее Ruposters писал, что российские ученые создали технологию измерения сахара в крови без уколов.
