La función, que hasta el momento solo está disponible para los videos en inglés publicados en YouTube, Vimeo y otras populares plataformas, utiliza el reconocimiento y la síntesis de voz, la traducción automática y las redes neuronales.
"Conferencias y películas documentales, stand-ups y vlogs, videos de recetas de cocina e instrucciones paso a paso: ahora pueden verlos en ruso", explican los creadores del traductor virtual.
Si un video cuenta con subtítulos, la herramienta los reconoce y los edita con la ayuda de la inteligencia artificial: en particular, elimina las líneas como "(suena la música)". En caso contrario, simplemente reconoce las voces.
Luego, traduce las líneas y determina si es un hombre o una mujer quien las pronuncia, y es que de esto no solo depende el tono de voz, sino también algunas peculiaridades gramaticales.
Finalmente, combina la traducción con el video y modifica la velocidad de la traducción si es necesario. También baja el sonido de la banda de audio en inglés.
La herramienta ya viene integrada en el navegador de Yandex, pero también está disponible en sus aplicaciones móviles. Si bien hasta la fecha, solo es capaz de traducir del inglés al ruso, los desarrolladores tienen previsto agregar en ella más idiomas y voces en un futuro.