Общество

"Яндекс" запустил функцию синхронного перевода прямых трансляций

4k
"Яндекс" запустил функцию синхронного перевода прямых трансляций
"Яндекс" запустил функцию синхронного перевода прямых трансляций

"Яндекс.Браузер" получит технологию, которая может автоматически переводить закадровый текст в прямых трансляциях на YouTube.

Браузер будет переводить трансляции на русский язык с английского, немецкого, французского, итальянского и испанского. Сейчас функция находится в бета-версии.

Для перевода одна нейросеть распознает аудио и превращает его в текст буквально, а другая определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их "получает" четвертая нейросеть, которая отвечает за перевод, синтезируемый на русском языке.

"Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Перевод трансляций уже можно запустить на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие", - указал руководитель приложения "Яндекс" и "Яндекс.Браузера" Дмитрий Тимко.

Еще прошлым летом "Яндекс" запустил тестирование технологии машинного перевода видео. Предполагалось, что переводить можно будет ролики на YouTube, Vimeo и нескольких других популярных платформах.

Затем в ноябре "Яндекс" запустил закадровый перевод видео еще для трех языков — французского, испанского и немецкого. Новые возможности доступны в "Браузере" для Windows, macOS, Linux и Android и в приложении "Яндекс" для Android и iOS. На смартфоне перевод можно запустить, сказав фразу "Алиса, включи перевод видео".