Benchmark Cactus Whistle contro Whisper Base su CPU: il modello minuscolo tiene il passo
Un modello speech-to-text da 16,9 MB guida Whisper base greedy sugli split più difficili di LibriSpeech, ma non emerge un divario significativo contro beam search; l'engine agganciato inoltre omette silenziosamente la parte centrale dei brani audio più lunghi oltre i ~30 secondi.
Cosa potresti farci
- I ricercatori potrebbero verificare le affermazioni del modello eseguendo lo stesso benchmark sui propri computer usando il codice pubblicato e i pesi agganciati 1.
- Gli sviluppatori potrebbero confrontare Whistle con i modelli Whisper di OpenAI su clip audio identiche per controllare qualità e velocità di trascrizione sul proprio hardware 1.
- Gli utenti esperti potrebbero eseguire la trascrizione vocale localmente su dispositivi quotidiani invece di inviare audio al cloud, rendendo il processo più veloce e più privato 1.
Modello minuscolo, grandi affermazioni
Cactus Compute ha rilasciato Whistle, un modello speech-to-text da 16,9 MB che gira su CPU e trascrive sette lingue restituendo timestamp a livello di parola e probabilità di confidenza. La scheda del modello afferma di superare Whisper base di OpenAI sul benchmark LibriSpeech, un test standard di riconoscimento vocale. Una nuova guida di codifica mette alla prova queste affermazioni su un singolo chip Apple M4.
Impostare un benchmark riproducibile
La guida aggancia le versioni esatte dei pesi di Whistle, dell'engine sottostante Needle e dei pesi di supporto Needle 3 mediante i loro hash di revisione Hugging Face. Questo garantisce che chiunque possa riprodurre l'esecuzione. L'autore installa il pacchetto cactus-needle, disabilita la telemetria anonima ed estrae la libreria dell'engine da un file wheel. Tutti i valori hash e le dimensioni dei file vengono stampati affinché i lettori possano verificare ogni componente.
Accuratezza attraverso i sottoinsiemi
Whistle viene confrontato con Whisper tiny e Whisper base su clip audio identiche tratte dagli insiemi test-clean e test-other di LibriSpeech. Il benchmark utilizza intervalli raggruppati per parlante con correzione di Holm, un metodo statistico che riduce i falsi positivi quando si eseguono confronti multipli. Sul sottoinsieme più difficile test-other, Whistle guida Whisper base decodificato in greedy, ma il divario si riduce quando Whisper usa beam search, una tecnica di decodifica più approfondita che esplora più trascrizioni possibili. Su test-clean, i modelli hanno prestazioni simili.
Velocità e scalabilità
Whistle mostra un vantaggio di velocità su clip audio brevi, ma questo vantaggio si restringe all'aumentare della durata della clip. Il tutorial analizza anche un segmento di 30 secondi in cui l'engine agganciato omette silenziosamente la parte centrale dei brani audio più lunghi. Vengono esaminati la latenza in streaming, l'accuratezza dei timestamp, il keyword biasing (rendere il modello favorevole verso determinati termini) e le prestazioni in altre lingue. La guida segnala che la robustezza al rumore e la qualità degli embedding sono lasciate a lavori futuri.
Oltre il word error rate
Il word error rate (WER) — la percentuale di parole trascritte erroneamente — è la metrica principale, ma il benchmark testa anche le chiamate speech-to-tool, dove l'input vocale viene convertito in invocazioni di funzione per sistemi AI agentic. La guida fornisce il codice Python completo affinché gli sviluppatori possano eseguire gli stessi test sul proprio hardware CPU.
Questa storia segnala un trend esclusivamente a fini informativi. Non costituisce consiglio né incoraggiamento a fare alcuna di queste cose.
I fatti principali
- Whistle è un modello speech-to-text da 16,9 MB che gira su CPU e trascrive sette lingue con timestamp delle parole.
- Su LibriSpeech test-other, Whistle guida Whisper base decodificato in greedy, ma Whisper con beam search lo pareggia.
- Il vantaggio di velocità si riduce all'aumentare della durata dell'audio; una finestra di 30 secondi causa un'omissione silenziosa della parte centrale dell'audio.
- Il benchmark è riprodotto agganciando revisioni Hugging Face esatte per pesi e engine.