Microsoft patenta una IA que modifica lo que dice la gente en vídeo en directo y en tiempo real

Qué podrías hacer con ello

• Un espectador podría ver una emisión en directo en idioma extranjero y escuchar y ver al hablante en su propio idioma gracias a una traducción en tiempo real ¹.
• Una cadena de televisión podría usar el sistema para eliminar muletillas como «um» y «eh», reducir tartamudeos y corregir mal pronunciadas o equivocaciones en una emisión en directo ¹.
• Un productor deportivo o de una ceremonia de premios podría permitir a los espectadores filtrar palabras ofensivas, insensibles o inapropiadas mientras sincroniza automáticamente el rostro y los labios del hablante para que coincidan ¹.

Cómo funcionaría

La patente, detectada primero por el sitio de seguimiento Patentlyze, describe una «mejora mediante inteligencia artificial casi en tiempo real de vídeo o presentaciones de realidad aumentada de eventos en directo» ¹. Un agente de IA vigilaría una emisión en directo e identificaría las palabras que se le haya indicado cambiar, luego las modificaría o eliminaría mientras edita el rostro y la boca del hablante para que el nuevo audio coincida con lo que ves .

El sistema también editaría el vídeo y el audio justo antes y después de cualquier palabra eliminada o reemplazada para crear «transiciones suaves» ¹. Esas instrucciones podrían provenir de parámetros predefinidos o del perfil personal de un espectador, lo que significa que dos personas viendo el mismo evento en directo acabarían viendo dos versiones diferentes .

Qué dice la patente que podría hacer

El propio borrador de patente de Microsoft esboza varios usos posibles. Uno es la traducción en tiempo real: un espectador podría ver una emisión en idioma extranjero y escuchar y ver al hablante en su propio idioma ¹. Otra es limpiar el habla: eliminar muletillas como «umm» o «ehh», reducir tartamudeos o corregir palabras mal pronunciadas o equivocadas .

Algunos de los ejemplos van mucho más lejos. La patente menciona cortar «palabras o frases personales» como «términos coloquiales» tales como la expresión del sur de Estados Unidos «y'all» o la frase hecha «bite the bullet» ¹. También señala la posibilidad de eliminar «palabras murmuradas, palabras ofensivas, palabras insensibles o palabras inapropiadas» . Cuando una palabra necesita ser reemplazada, la patente indica que el reemplazo podría incluso extraerse de una «búsqueda en Internet» .

Preocupaciones y salvaguardias

La idea de que una emisión en directo ya no fuera en directo plantea obvias preguntas. Si los espectadores pueden sintonizar el habla de otra persona a su gusto personal, ¿perdemos puntos de referencia compartidos? ¿Borrar dialectos regionales o expresiones idiomáticas aplanaría cómo se comunican las personas en línea?

Para abordar esas preocupaciones, la patente sí reconoce el riesgo y dice que el vídeo y audio originales en directo podrían grabarse y almacenarse como una «verdad fundamental» (ground truth), una copia de seguridad de lo que realmente sucedió, conservada para que la gente pueda comprobar si hubo alguna edición ¹. La patente prevé que la tecnología se aplique a conferencias, presentaciones, producciones televisivas incluyendo ceremonias de premios y programas de juegos o cocina, y deportes en directo .

Hasta ahora, Microsoft no ha confirmado ni desmentido ningún detalle más allá de lo que figura en la presentación de la patente y no respondió a una solicitud de comentario ¹.

Esta historia informa sobre una presentación de patente solo con fines informativos. No constituye asesoramiento ni ánimo para utilizar o implementar dicha tecnología.

Los datos clave

• Microsoft presentó una patente para edición de vídeo con IA en tiempo real que modifica las palabras y los movimientos de los labios de los hablantes.
• El sistema podría traducir emisiones en directo, eliminar muletillas e incluso borrar expresiones dialectales o frases hechas.
• La emisión original podría almacenarse como registro de «verdad fundamental» para preservar lo que realmente ocurrió.
• Los posibles usos incluyen conferencias, programas de televisión, ceremonias de premios y deportes en directo.

Fuentes

1. Microsoft Patents an AI That Can Literally Put Words in People's Mouths in Real Time — futurism.com