TurboMamba combina Mamba e Transformer per modelli linguistici più veloci e intelligenti
Una nuova architettura ibrida migliora velocità e precisione mescolando due tipi di progettazioni AI.
Un nuovo modo per rendere più veloci i modelli linguistici
I ricercatori hanno creato TurboMamba, un nuovo design per modelli linguistici che funziona più velocemente sia durante l'addestramento sia nella generazione di testo. Il lavoro è stato pubblicato su arXiv da Hanxin Zhang 1.
L'idea centrale è mescolare due tipi ben noti di architetture AI: Mamba e Transformer. Mamba (chiamato anche Mamba-3 in questo lavoro) è un modello molto efficiente nel processare lunghe sequenze di testo. Transformer è l'architettura alla base della maggior parte dei modelli linguistici più popolari oggi, nota per la sua forte capacità predittiva. TurboMamba cerca di ottenere il meglio di entrambi i mondi.
Come funziona
Ecco la versione semplice: un modello globale Mamba viene eseguito una volta per un intero blocco di token — un gruppo di parole o parti di parola che il modello elabora insieme. Un Transformer più piccolo poi osserva il contesto globale prodotto da Mamba, più i token precedenti nel blocco corrente, per prevedere il token successivo.
Tre piccoli aggiustamenti rendono le previsioni locali ancora migliori. Primo, il modello può accedere direttamente all'ultimo token del blocco precedente. Secondo, applica una piccola correzione ai punteggi per il token successivo. Terzo, impara a fondere le previsioni del Transformer con la frequenza con cui certi token recenti sono apparsi.
Questo significa che il lavoro pesante è fatto dal modello veloce Mamba, mentre il Transformer più piccolo si concentra solo sull'ottimizzare le previsioni all'interno di ogni blocco.
Migliore e più veloce
I ricercatori hanno testato dodici versioni in piccola scala di diverse architetture su un dataset pubblico chiamato FineWeb-Edu, mantenendo il numero di parametri e il tempo di addestramento simili tra tutti. I modelli base includevano Transformer, Mamba-3, Jamba e Zamba. Per Jamba e Zamba, i ricercatori hanno sostituito Mamba-3 al posto dei loro moduli originali 1.
TurboMamba è venuto primo. Ha ottenuto la più bassa perdita media di previsione test tra tutti e dodici i modelli. Il suo errore di previsione è stato del 9,4 percento inferiore rispetto a Mamba-3, del 7,3 percento inferiore rispetto alla versione modificata di Jamba e del 18,3 percento inferiore rispetto alla versione modificata di Zamba 1.
I guadagni di velocità sono stati anche importanti. L'addestramento è stato 2,60 volte più veloce di Mamba-3, 2,81 volte più veloce della versione Jamba e 4,82 volte più veloce della versione Zamba 1. Per la generazione di testo, TurboMamba è stato 3,12 volte più veloce di Mamba-3, 3,53 volte più veloce della versione Jamba e 6,21 volte più veloce della versione Zamba su un batch di 32 sequenze con prompt da 256 token e 128 token generati .
Cosa conta qui
Il risultato mostra che mescolare la velocità di Mamba con la precisione di Transformer è una direzione promettente. I guadagni sono misurati su modelli piccoli, quindi l'approccio dovrà essere testato su scale più ampie. Tuttavia, l'idea di lasciare che un modello globale veloce faccia il lavoro pesante mentre un modello più piccolo gestisce le decisioni locali potrebbe influenzare il modo in cui verranno costruiti i futuri modelli linguistici.
I fatti principali
- TurboMamba combina un modello globale Mamba-3 con un Transformer più piccolo per la previsione dei token
- Ha ottenuto un 9,4 percento in meno di perdita di previsione rispetto a Mamba-3 su FineWeb-Edu
- Il throughput di addestramento è stato 2,60 volte più veloce di Mamba-3 e 4,82 volte più veloce di Zamba
- Il miglioramento della velocità di inferenza ha raggiunto 6,21 volte più veloce della versione Zamba
- I test hanno utilizzato dodici modelli in piccola scala con parametri e budget di addestramento comparabili