"Яндекс Переводчик" оказался лучшим сервисом, который переводит текст с английского на русский язык, по версии независимого бенчмарка DiBiMT. Рейтинг опубликовали итальянские институты Sapienza и SSML Carlo Bo — одни из ведущих центров изучения языка в машинном обучении.
Российский сервис также занял третье место по качеству перевода с английского на китайский, немецкий, итальянский и испанский языки, первые два заняли соответственно Google Translate и DeepL. Также переводчик от "Яндекса" лучше других алгоритмов определяет значение конкретных английских слов и делает меньше семантических ошибок.
Работа переводчиков тестировалась специалистами на примере нескольких тысяч предложений на английском с одинаковыми по написанию словами, имеющими разное значение. Затем алгоритмы DiBiMT определили долю корректно переведенных слов. Правильные варианты также выборочно были проверены людьми, чтобы гарантировать качество измерений.
Помимо трех лидеров в рейтинг попали большие языковые модели mBART-50, M2M100 и OPUS.
