Today: 12-02-2025

Искусственный интеллект Babel Fish позволяет осуществлять прямые переводы речи в речь

Модель ИИ, которая может переводить речь и текст, включая прямые переводы речи в речь, для 101 языка описана в Nature. Модель, названная SEAMLESSM4T, заполняет пробелы в языковом охвате и превосходит существующие системы. Работа может проложить путь для быстрых универсальных переводов, при этом ресурсы будут общедоступны (для некоммерческого использования) для содействия дальнейшим исследованиям в области инклюзивных технологий перевода речи.

Читатели научной фантастики, возможно, знакомы с Вавилонской рыбой из «Автостопом по Галактике» — маленькой рыбкой, которую можно вставить в ухо и одновременно переводить с одного разговорного языка на другой. Такой инструмент был бы ценным для облегчения общения во взаимосвязанном глобальном ландшафте, но большинство существующих систем машинного обучения ориентированы на текст или включают несколько этапов — распознавание речи, перевод в текст и преобразование текста в речь.

Кроме того, языковой охват существующих моделей преобразования речи в речь отстает от охвата моделей преобразования текста в текст и, как правило, смещен в сторону перевода с исходного языка на английский, а не с английского на другой язык.

Решая эти ограничения, команда Seamless Communication Team из Meta разработала единую модель, которая поддерживает несколько режимов перевода между 101 языком. SEAMLESSM4T может облегчить перевод речи в речь (распознавание 101 языка и перевод на 36 языков), перевод речи в текст (со 101 по 96 языков), перевод текста в речь (с 96 по 36 языков), перевод текста в текст (96 языков) и автоматическое распознавание речи (96 языков).

Для мгновенного перевода речи в речь SEAMLESSM4T переводит текст с точностью до 23% выше, чем существующие системы. Модель ИИ может отфильтровывать фоновый шум и подстраиваться под вариации говорящего. Хотя требуется дальнейшая оптимизация, SEAMLESSM4T может представлять собой шаг к улучшению коммуникации через языковые барьеры , заключают авторы.


Автор Игорь Савин

Контакты, администрация и авторы

Wiki