Общество

"Яндекс" представил крупнейшую нейросеть для обработки текстов со 100 млрд параметров

1.6k
"Яндекс" представил крупнейшую нейросеть для обработки текстов со 100 млрд параметров
"Яндекс" представил крупнейшую нейросеть для обработки текстов со 100 млрд параметров

Российская IT-компания "Яндекс" выложила в интернет код YaLM 100B — нейросети для генерации и обработки текстов на русском и английском языках. По информации "Яндекса", это самая большая русскоязычная нейросеть, опубликованная в свободном доступе. Об этом сообщила пресс-служба компании.

"YaLM 100В содержит 100 млрд параметров — больше, чем какая-либо из существующих моделей для русского языка. Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире", — рассказали в пресс-службе "Яндекса".

Компания отмечает, что современную нейросеть можно использовать как для развлечения, так и для создания коммерческой рекламы, описания товаров, генерации любых текстов и даже стихов. Также программа на основе алгоритмов "Яндекса" сможет классифицировать текст по функциональному стилю.

Модель YaLV 100B обучалась на суперкомпьютерах "Яндекса", признанных мощнейшими во всей Восточной Европе. По заверению компании, в ходе машинного обучения нейросеть обработала порядка 2 терабайт текстов из открытых источников и страниц английского и русского интернета. В данный момент нейросеть предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.

Ранее нейросеть от Google научили генерировать изображения по описанию. Для создания новых изображений нейросеть использует метод диффузии: сначала программа рисует небольшой схематичный набросок, который дальше улучшается и увеличивается в разрешении вплоть до максимального соответствия запросу. В данный момент доступны такие паттерны нейросети, как, например, изображения с текстовым описанием "фото енота с солнечными очками на скейтборде" или "картина маслом персидского кота, играющего на гитаре".