Microsoft breveta un'AI che cambia in tempo reale ciò che le persone dicono nei video in diretta

Cosa potresti farci

• Un telespettatore potrebbe guardare una trasmissione in diretta in lingua straniera e ascoltare e vedere il relatore nella propria lingua grazie a una traduzione in tempo reale ¹.
• Un'emittente potrebbe utilizzare il sistema per rimuovere parole riempitive come "mmh" e "ehm", ridurre i balbettii e correggere parole mal pronunciate o dette male da una diretta streaming ¹.
• Un produttore sportivo o di una cerimonia di premiazione potrebbe permettere agli spettatori di filtrare parole offensive, insensibili o inopportune, sincronizzando automaticamente il viso e la bocca del relatore perché corrispondano ¹.

Come funzionerebbe

Il brevetto, segnalato per la prima volta dal sito di monitoraggio Patentlyze, descrive un "miglioramento in intelligenza artificiale quasi in tempo reale di presentazioni video o di realtà aumentata di eventi live" ¹. Un agente AI Osserverebbe una trasmissione in diretta e identificherebbe le parole che deve modificare, poi le altererebbe o le rimuoverebbe mentre ritocca il viso e la bocca del relatore in modo che il nuovo audio corrisponda a ciò che vedi .

Il sistema inoltre modificherebbe il video e l'audio appena prima e dopo qualsiasi parola rimossa o sostituita per creare "transizioni fluide" ¹. Queste istruzioni potrebbero provenire da parametri impostati o dal profilo personale di uno spettatore, il che significa che due persone che guardano lo stesso evento live potrebbero finire per vedere due versioni diverse .

Cosa afferma il brevetto che potrebbe fare

Lo stesso brevetto di Microsoft illustra diversi utilizzi possibili. Uno è la traduzione in tempo reale: uno spettatore potrebbe guardare una trasmissione in lingua straniera e sentire e vedere il relatore nella propria lingua ¹. Un altro è ripulire il parlato — rimuovere parole riempitive come "mmh" o "ehm", ridurre balbettii o correggere parole mal pronunciate o dette male .

Alcuni esempi vanno molto oltre. Il brevetto menziona il taglio di "parole o frasi personali" come "termini colloquiali" quali l'espressione americana meridionale "y'all" o l'idiom "bite the bullet" ¹. Indica anche la possibilità di rimuovere "parole borbottate, parole offensive, parole insensibili o parole inopportune" . Quando una parola necessita di sostituzione, il brevetto nota che il sostituto potrebbe persino provenire da una "ricerca su internet" .

Preoccupazioni e salvaguardie

L'idea di una trasmissione in diretta che non sia più tale solleva domande ovvie. Se gli spettatori possono sintonizzare il discorso altrui sul proprio gusto personale, perdiamo punti di riferimento condivisi? Cancellare dialetti regionali o idiomi appiattisce il modo in cui le persone comunicano online?

Per affrontare queste preoccupazioni, il brevetto riconosce il rischio e afferma che il video e l'audio originali in diretta potrebbero essere registrati e archiviati come "ground truth" — una copia di backup di ciò che è realmente accaduto, conservata affinché le persone possano verificare se sia avvenuto alcun intervento di montaggio ¹. Il brevetto immagina la tecnologia applicata a lezioni, presentazioni, produzioni televisive tra cui cerimonie di premiazione e programmi giochi o di cucina, e sport in diretta .

Ad oggi, Microsoft non ha confermato o smentito alcun dettaglio oltre a quanto contenuto nella domanda di brevetto e non ha risposto a una richiesta di commento ¹.

Questa notizia riporta su una domanda di brevetto solo a scopo informativo. Non costituisce consiglio o incoraggiamento a utilizzare o implementare alcuna tecnologia del genere.

I fatti principali

• Microsoft ha depositato un brevetto per il montaggio video in tempo reale con intelligenza artificiale che modifica le parole e i movimenti labiali dei relatori.
• Il sistema potrebbe tradurre trasmissioni in diretta, rimuovere parole riempitive ed eliminare persino espressioni dialettali o idiomi.
• La trasmissione originale potrebbe essere archiviata come registro di "ground truth" per preservare ciò che è realmente accaduto.
• Utilizzi possibili includono lezioni, programmi TV, cerimonie di premiazione e sport in diretta.

Fonti

1. Microsoft Patents an AI That Can Literally Put Words in People's Mouths in Real Time — futurism.com