Benchmark de Cactus Whistle contra Whisper Base en CPU muestra que el modelo pequeño se mantiene
Un modelo de voz a texto de 16,9 MB lidera a Whisper base con decodificación greedy en divisiones más difíciles de LibriSpeech, pero no existe diferencia significativa contra beam search; el motor con hashes fijos también omite silenciosamente el centro de audios más largos más allá de los ~30 segundos.
Qué podrías hacer con esto
- Los investigadores podrían verificar las afirmaciones del modelo ejecutando el mismo benchmark en sus propias computadoras usando el código publicado y los pesos fijados 1.
- Los desarrolladores podrían comparar Whistle contra los modelos Whisper de OpenAI en clips de audio idénticos para revisar la calidad y velocidad de transcripción en su propio hardware 1.
- Los usuarios avanzados podrían ejecutar la transcripción de voz localmente en dispositivos cotidianos en lugar de enviar audio a la nube, haciendo el proceso más rápido y privado 1.
Modelo pequeño, grandes afirmaciones
Cactus Compute ha lanzado Whistle, un modelo de voz a texto de 16,9 MB que corre en CPU y transcribe siete idiomas mientras devuelve marcas de tiempo a nivel de palabra y probabilidades de confianza. La ficha del modelo afirma que supera a Whisper base de OpenAI en el benchmark LibriSpeech, una prueba estándar de reconocimiento de voz. Una nueva guía de codificación somete esas afirmaciones a prueba en un solo chip Apple M4.
Configuración de un benchmark reproducible
La guía fija las versiones exactas de los pesos de Whistle, el motor subyacente Needle, y los pesos de Needle 3 mediante sus hashes de revisión de Hugging Face. Esto asegura que cualquiera pueda reproducir la ejecución. El autor instala el paquete cactus-needle, desactiva la telemetría anónima y extrae la biblioteca del motor desde un archivo wheel. Todos los valores hash y tamaños de archivo se imprimen para que los lectores puedan verificar cada componente.
Precisión por subconjuntos
Whistle se compara con Whisper tiny y Whisper base en clips de audio idénticos de los conjuntos test-clean y test-other de LibriSpeech. El benchmark usa intervalos emparejados de clústeres de hablantes con corrección de Holm, un método estadístico que reduce los falsos positivos al realizar múltiples comparaciones. En el subconjunto más difícil test-other, Whistle lidera a Whisper base con decodificación greedy, pero la brecha se cierra cuando Whisper usa beam search, una técnica de decodificación más exhaustiva que explora múltiples transcripciones posibles. En test-clean, los modelos rinden de manera similar.
Velocidad y escalado
Whistle muestra una ventaja de velocidad en clips de audio cortos, pero esa ventaja se reduce a medida que crece la duración del clip. El tutorial también examina un tramo de 30 segundos en el que el motor fijado omite silenciosamente la parte central de clips de audio más largos. Se analizan la latencia en streaming, la precisión de las marcas de tiempo, el sesgo de palabras clave (hacer que el modelo favorezca ciertos términos) y el rendimiento en otros idiomas. La guía señala que la robustez ante ruido y la calidad de los embeddings quedan para trabajo futuro.
Más allá de la tasa de error de palabras
La tasa de error de palabras (WER) —el porcentaje de palabras transcritas incorrectamente— es la métrica principal, pero el benchmark también prueba llamadas de voz a herramientas, donde la entrada hablada se convierte en invocaciones de función para sistemas de IA agente. La guía proporciona código Python completo para que los desarrolladores puedan ejecutar las mismas pruebas en su propio hardware de CPU.
Esta historia informa sobre una tendencia solo con fines informativos. No constituye consejo ni aliento para hacer nada de ello.
Los datos clave
- Whistle es un modelo de voz a texto de 16,9 MB que corre en CPU y transcribe siete idiomas con marcas de tiempo por palabra.
- En LibriSpeech test-other, Whistle lidera a Whisper base con decodificación greedy, pero Whisper con beam search lo iguala.
- La ventaja de velocidad se reduce a medida que aumenta la duración del audio; una ventana de 30 segundos provoca la omisión silenciosa del audio central.
- El benchmark se reproduce fijando revisiones exactas de Hugging Face para pesos y motor.