Разработчики отмечают, что технология, доступная пока в бета-версии, является крайне сложной – в процессе участвуют сразу четыре нейросети.
Компания «Яндекс» объявила о внедрении в свой браузер технологии автоматического закадрового перевода прямых трансляций на YouTube. Разработчики подчеркивают, что их решение является уникальным.
Пока технология работает в режиме открытого бета-тестирования – для перевода трансляций на ограниченном числе YouTube-каналов. Автоматический закадровый перевод прямых трансляций дополняет технологии голосового перевода видео и интерактивных субтитров.
Список поддерживаемых языков выглядит так: английский, немецкий, французский, итальянский, испанский.
В роли синхронного переводчика выступают нейросети, которые начинают переводить предложение еще до того, как его закончили произносить. Отмечается, что для быстрой и качественной работы в потоковом сценарии понадобилось перестроить всю архитектуру закадрового перевода видео.
В случае с записанными роликами нейросеть получает всю аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу. Работа с переводом прямой трансляции строится совершенно иначе: одна нейросеть распознает аудио и превращает его в текст на лету, другая – определяет пол спикера по биометрии. Третья нейросеть – и это самый сложный этап – расставляет знаки препинания и выделяет из текста смысловые фрагменты, то есть части, которые содержат законченную мысль. Именно их забирает еще одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
Прокомментируйте первым!
Добавить комментарий