Edge0 lanza un pequeño modelo de clonación de voz que habla 23 idiomas de forma gratuita

Qué se puede hacer con él

• Un desarrollador podría construir una herramienta gratuita de clonación de voz que funcione en hardware asequible, ya que el modelo es lo suficientemente pequeño como para ejecutarse en una GPU CUDA estándar o incluso en una CPU Apple M2 ¹.
• Un creador de contenido podría generar habla en cualquiera de los 23 idiomas proporcionando solo un breve fragmento de audio y su transcripción, usando la función de clonación zero-shot del modelo ¹.
• Un investigador podría estudiar, modificar y redistribuir libremente el código y los pesos del modelo porque Edge0 lo liberó bajo la licencia open-weight Apache 2.0 ¹.

Qué hace el modelo

Audio8-TTS-Realistic es la segunda versión de la línea de TTS de modelos pequeños de Edge0. Contiene aproximadamente 601 millones de parámetros, sin contar el códec de audio. La empresa lo describe como un modelo open-weight bajo la licencia Apache 2.0, lo que significa que los desarrolladores pueden estudiar, modificar y redistribuir el código.

El sistema toma una única grabación de referencia y su transcripción, y luego genera habla con la voz clonada. Soporta 23 idiomas —un salto respecto a los 11 idiomas de la versión preliminar anterior—. Las últimas versiones también ofrecen soporte para turco, vietnamita, sueco, ruso, portugués, noruego, malayo, indonesio, hindi, finés, árabe y tailandés.

También puede crear habla sin ninguna voz de referencia en absoluto, funcionando como un sistema TTS estándar ¹.

Cómo está construido

La arquitectura usa un diseño dual autoregresivo, lo que significa que predice el habla en dos etapas. La primera etapa se ejecuta en un modelo basado en Qwen2.5 0.5B y produce tokens de texto más la primera capa de códigos de audio a unas 21,5 cuadros por segundo. Una segunda rama, más superficial, completa las nueve capas restantes de audio en paralelo ¹.

El entrenamiento ocurre en tres fases. Primero viene el ajuste fino supervisado estándar en varios idiomas. La segunda fase utiliza un método llamado GRPO —un enfoque de aprendizaje por refuerzo— que recompensa al modelo por bajas tasas de error de palabras y buena similitud del hablante. La tercera fase añade un "crítico de realismo" aprendido que puntúa las salidas frente a grabaciones humanas reales ¹.

Edge0 construyó una escalera de calidad usando seis sistemas TTS de código abierto clasificados en un estudio de escucha privado, con habla humana real en la cima. Una pérdida de borrado de identidad evita que el crítico simplemente recompense huellas mecánicas en lugar de realismo genuino ¹.

Una penalización por duración bloquea al sistema para evitar que explote el crítico hablando de forma inusualmente lenta. La etapa final de entrenamiento usó solo frases en chino e inglés pero aún así mejoró el rendimiento en idiomas con menos recursos ¹.

Cómo se desempeña

En la prueba Seed-TTS (inglés y chino), el modelo logra un 1,25 % de error promedio con una puntuación de similitud del hablante de 0,704 ¹. En CV3, una prueba de nueve idiomas, obtiene 4,86 % de error promedio: mejor que VoxCPM2 en 5,35 % y Qwen3-TTS-1.7B en 7,73 % .

En MiniMax, que cubre 24 idiomas, alcanza 5,89 % de error con 0,754 de similitud ¹. En ciertas pruebas, los modelos más grandes siguen siendo superiores: Higgs TTS 3 logra puntuaciones de 4,41 % en CV3 y 2,74 % en MiniMax, mientras que Qwen3-TTS-1.7B registra un promedio de 1,01 % en Seed-TTS.

Las debilidades persisten. El tailandés marca 48,57 % de error de palabras en CV3, y el cantonés alcanza 31,35 % de error de caracteres en MiniMax: muy lejos de los mejores idiomas ¹.

Dónde encontrarlo

El modelo está disponible en GitHub y Hugging Face. Requiere PyTorch 2.5 o posterior y Transformers 4.57 o posterior. Incluye una herramienta CLI, soporte por lotes y scripts de ajuste fino ¹.

Para servicio en GPU, un adaptador SGLang proporciona atención paginada y agrupación dinámica con un punto de conexión compatible con la API de OpenAI. Edge0 señala que la capacidad de procesamiento y las velocidades de transmisión no han sido sometidas a prueba ¹. Un patio de recreo gratuito funciona en Hugging Face ZeroGPU .

El modelo fue probado brevemente en una GPU NVIDIA H20 en precisión BF16 y también funciona en CPUs Apple M2 usando cuantización INT4, consumiendo aproximadamente 1,1 a 1,2 gigabytes de memoria ¹.

Los datos clave

• 601 millones de parámetros con 23 idiomas compatibles
• Error en CV3 de 4,86 %, superando a Qwen3-TTS-1.7B y VoxCPM2
• Licencia open Apache 2.0
• Funciona en GPUs NVIDIA y CPUs Apple M2
• Thai y cantonés siguen siendo débiles con casi 49 % y 31 % de error

Fuentes

1. Edge0 Releases Audio8-TTS-Realistic, a 0.6B Voice Cloning TTS Model — marktechpost.com