Общество

Сибирские ученые создали систему для перевода с языка глухих

Сибирские ученые создали систему для перевода с языка глухих

Ученые Новосибирского государственного технического университета НЭТИ разработали систему, которая с помощью камер и нейронных сетей распознает жесты глухих и переводит их в текст или голос. Программа узнает 1006 движений и трактует их с 90%-й точностью, сообщает "Научная Россия".

"В России подобной системы раньше не было, это первая в мире разработка", — заявил профессор кафедры автоматизированных систем управления НЭТИ Михаил Гриф.

Для обучения нейросети было использовано 350 жестовых предложений, записанных на камеры. Приложение сканирует картинку и фиксирует движения, которые затем превращает в изображения, а далее они переводятся в модели, сопоставляются с данными в нейронной сети и преобразуются в текст или голос.

По словам Грифа, сейчас эксперты работают над распознаванием дактиля — вспомогательной системы русского жестового языка, где каждому жесту соответствует буква. Перевод сложен, так как зависит не только от движения рук, но и от выражения лица и других знаков артикуляции. В будущем специалисты хотят внедрить работу переводчика в обе стороны, чтобы им могли пользоваться глухие и слабослышащие люди, а также адаптировать программу под другие жестовые языки мира.

Мы также вели работу над выделением эпентезы (межжестовое движение). Сейчас точность выделения жестов в видеопотоке составляет 85–90%. Пока эта работа ведется в формате эксперимента. Кроме того, мы занимаемся разработкой биологически подобных нейронных сетей, которые работают аналогично человеку, зрительно воспринимающему жестовый язык.

Ранее Ruposters писал, что российские ученые создали технологию измерения сахара в крови без уколов.

Подписывайтесь на нас в Instagram:
https://www.instagram.com/ruposters_ru/

Поделиться / Share