"Яндекс Переводчик" оказался лучшим сервисом, который переводит текст с английского на русский язык, по версии независимого бенчмарка DiBiMT. Рейтинг опубликовали итальянские институты Sapienza и SSML Carlo Bo — одни из ведущих центров изучения языка в машинном обучении.
Российский сервис также занял третье место по качеству перевода с английского на китайский, немецкий, итальянский и испанский языки, первые два заняли соответственно Google Translate и DeepL. Также переводчик от "Яндекса" лучше других алгоритмов определяет значение конкретных английских слов и делает меньше семантических ошибок.
Работа переводчиков тестировалась специалистами на примере нескольких тысяч предложений на английском с одинаковыми по написанию словами, имеющими разное значение. Затем алгоритмы DiBiMT определили долю корректно переведенных слов. Правильные варианты также выборочно были проверены людьми, чтобы гарантировать качество измерений.
Помимо трех лидеров в рейтинг попали большие языковые модели mBART-50, M2M100 и OPUS.
!["Яндекс" оказался лучшим переводчиком с английского на русский "Яндекс" оказался лучшим переводчиком с английского на русский](https://092cd778-c9ca-40be-85d8-8780bf6c77fd.selstorage.ru/newsbody/8/844d7bb6716f417a2066342b11956668.jpg)