Edge0 rilascia un piccolo modello per clonare le voci e parlare in 23 lingue gratuitamente

Cosa si potrebbe fare con questo modello

• Uno sviluppatore potrebbe creare uno strumento gratuito per clonare voci, eseguibile su hardware económico, perché il modello è abbastanza piccolo da funzionare su una GPU CUDA standard oppure persino su una CPU Apple M2 ¹.
• Un creator di contenuti potrebbe generare parlato in ciascuna delle 23 lingue fornendo soltanto un brevissimo spezzone audio insieme alla sua trascrizione, sfruttando la funzione di zero-shot cloning del modello ¹.
• Un ricercatore potrebbe studiare, modificare e ridistribuire liberamente il codice e i parametri del modello poiché Edge0 lo ha rilasciato sotto licenza open-weight Apache 2.0 ¹.

Cosa fa il modello

Audio8-TTS-Realistic è la seconda versione della gamma di modelli TTS piccoli di Edge0. Conta circa 601 milioni di parametri, codec audio escluso. L'azienda lo descrive come modello open-weight sotto licenza Apache 2.0, il che significa che gli sviluppatori possono studiarlo, modificarlo e redistribuirne il codice.

Il sistema prende una singola registrazione di riferimento e la relativa trascrizione e genera quindi il parlato nella voce clonata. Supporta 23 lingue — un salto rispetto alle 11 previste dalla prima versione preview — e nelle ultime versioni aggiunge il turco, il vietnamita, lo svedese, il russo, il portoghese, il norvegese, il malese, l'indonesiano, l'hindi, il finlandese, l'arabo e il tailandese.

Può inoltre generare parlato senza alcun riferimento vocale, comportandosi come un normale sistema text-to-speech ¹.

Come è costruito

L'architettura adottata è duale e autoregressiva, cioè prevede due fasi di previsione. La prima fase si basa su un modello derivato da Qwen2.5 0.5B e genera i token testuali e il primo strato di codici audio, circa 21,5 frame al secondo. Una seconda diramazione, più leggera, riempie poi in parallelo i nove strati audio rimanenti ¹.

L'addestramento avviene in tre fasi. Si inizia con un fine-tuning supervisionato standard sulle varie lingue. La seconda fase adotta una tecnica denominata GRPO — un approccio di reinforcement learning — che premia il modello quando ottiene bassi tassi di errore lessicale e buona somiglianza con la voce originale. La terza fase introduce un "critico" basato sul realismo appreso, che valuta le uscite confrontandole con registrazioni umane reali ¹.

Edge0 ha costruito una scala qualitativa servendosi di sei sistemi TTS open-source classificati in uno studio di ascolto privato, con registrazioni vocali umane reali in cima. Una loss di cancellazione dell'identità impedisce al critico di premiare semplicemente pattern meccanici anziché un realismo genuino ¹.

Una penalità sulla durata impedisce invece al sistema di ingannare il critico parlando a velocità insolitamente lenta. L'ultimo stadio di addestramento ha usato soltanto prompt in cinese e inglese, migliorando comunque le prestazioni sulle lingue con minori quantità di dati ¹.

Quanto performano

Sul benchmark Seed-TTS (inglese e cinese) il modello raggiunge il 1,25% di errore medio con un punteggio di somiglianza della voce pari a 0,704 ¹. Su CV3, un test a nove lingue, ottiene il 4,86% di errore medio: meglio di VoxCPM2 al 5,35% e di Qwen3-TTS-1.7B al 7,73% .

Su MiniMax, che copre 24 lingue, arriva al 5,89% di errore con una somiglianza di 0,754 ¹. Su alcuni benchmark i modelli più grandi restano avanti: Higgs TTS 3 ottiene punteggi del 4,41% su CV3 e 2,74% su MiniMax, mentre Qwen3-TTS-1.7B registra in media 1,01% su Seed-TTS.

Le criticità permangono. Il tailandese ottiene il 48,57% di errore lessicale su CV3, e il cantonese arriva al 31,35% di errore sui caratteri su MiniMax — nettamente indietro rispetto alle migliori lingue ¹.

Dove trovarlo

Il modello è disponibile su GitHub e Hugging Face. Richiede PyTorch 2.5 o successivo e Transformers 4.57 o superiore. Include uno strumento CLI, supporto per il batching e script di fine-tuning ¹.

Per l'esecuzione su GPU, un adattatore SGLang garantisce paged attention e batching dinamico attraverso un endpoint API compatibile con OpenAI. Edge0 segnala che velocità di elaborazione e streaming non sono ancora stati misurati ¹. Un playground gratuito è ospitato su Hugging Face ZeroGPU .

Il modello è stato testato sommariamente su una GPU NVIDIA H20 in precisione BF16 e funziona anche su CPU Apple M2 mediante quantizzazione INT4, occupando circa 1,1-1,2 gigabyte di memoria ¹.

I fatti principali

• 601 milioni di parametri e 23 lingue supportate
• Errore del 4,86% su CV3, battendo Qwen3-TTS-1.7B e VoxCPM2
• Licenza aperta Apache 2.0
• Funziona su GPU NVIDIA e CPU Apple M2
• Tailandese e cantonese restano punti deboli, vicini al 49% e al 31% di errore

Fonti

1. Edge0 Releases Audio8-TTS-Realistic, a 0.6B Voice Cloning TTS Model — marktechpost.com