Умный переводчик

Модель под названием SEAMLESSM4T работает в нескольких режимах:

– speech-to-speech (получает на вход звучащую речь и выдает перевод реплики, озвученный голосом автора запроса или любым другим голосом в зависимости от задачи);

– speech-to-text (превращает звучащую речь в текст и переводит на другой язык, не озвучивая);

– text-to-speech (преобразует текст на одном языке в звучащую речь на другом);

– text-to-text (получает на вход текст и переводит его на другой язык, не преобразовывая в звучащую речь);

– automatic speech recognition (автоматическое распознавание речи; модель преобразует звучащую речь в текст без перевода).

Для других режимов также поддерживается большое количество языков. Перевод speech-to-text осуществляется со 101 языка на 96 языков, text-to-speech – с 96 языков на 36 языков. Для полностью текстового перевода и автоматического распознавания речи доступны 96 языков.

У SEAMLESSM4T есть функции, позволяющие на 50 % лучше аналогов приглушать фоновый шум и подстраиваться под изменения громкости голоса. Кроме того, модель прошла проверку на безопасность перевода: ее можно считать нетоксичной и не подверженной гендерным стереотипам.

Новый ИИ-переводчик планируют сделать доступным для некоммерческого использования. По мнению разработчиков, модель способна облегчить международное общение так же, как вавилонская рыбка помогала героям из серии фантастических произведений «Автостопом по галактике» английского писателя Дугласа Адамса «переключаться» с одного языка на другой.