Мета
Meta представила вторую версию своей мультимодальной нейронной сети для перевода речи SeamlessM4T. Обновление делает перевод более спонтанным и эмоциональным.
Что известно
Первая новая функция, SeamlessExpressive, передает интонацию исходного звука в перевод: громкость, высоту тона, темп, паузы и т д. Это придает разговору более естественный характер.
Вторая функция, SeamlessStreaming, запускает перевод, пока человек продолжает говорить. Это позволяет сократить задержку до двух секунд и не ждать, пока собеседник закончит фразу.
По словам Меты, алгоритм анализирует уже сказанную часть предложения и определяет, достаточно ли контекста для начала перевода.
Компания пока не объявила точные даты, когда новые функции станут доступны более широкой аудитории.