TurboMamba combina Mamba e Transformer per modelli linguistici più veloci e intelligenti
Una nuova architettura ibrida migliora la velocità e la precisione mescolando due tipi di architetture AI.

Un modello linguistico che unisce due design di AI per elaborare il testo più velocemente e fare previsioni più precise.
Un nuovo modo per rendere più veloci i modelli linguistici
I ricercatori hanno creato TurboMamba, un nuovo design per modelli linguistici che funziona più velocemente sia durante l'addestramento sia nella generazione di testo. Il lavoro è stato pubblicato su arXiv da Hanxin Zhang 1.
L'idea centrale è mescolare due tipi ben noti di architetture AI: Mamba e Transformer. Mamba (chiamato anche Mamba-3 in questo lavoro) è un modello molto efficiente nell'elaborare lunghe sequenze di testo. Transformer è l'architettura alla base della maggior parte dei modelli linguistici più popolari oggi, nota per la sua forte capacità predittiva. TurboMamba cerca di ottenere il meglio di entrambi i mondi.
Come funziona
Ecco la versione semplice: un modello globale Mamba viene eseguito una volta per un intero blocco di token — un gruppo di parole o parti di parola che il modello elabora insieme. Un Transformer più piccolo poi osserva il contesto globale prodotto da Mamba, più i token precedenti nel blocco corrente, per prevedere il token successivo.
Tre piccoli aggiustamenti rendono le previsioni locali ancora migliori. Primo, il modello può accedere direttamente all'ultimo token del blocco precedente. Secondo, applica una piccola correzione ai punteggi per il token successivo. Terzo, impara a fondere le previsioni del Transformer con la frequenza con cui certi token recenti sono apparsi.
Questo significa che il lavoro pesante è fatto dal modello veloce Mamba, mentre il Transformer più piccolo si concentra solo sull'ottimizzare le previsioni all'interno di ogni blocco.
Quanto TurboMamba sbaglia meno degli altri design
Test FineWeb-Edu; perdita media predittiva nei test su modelli piccoli
Migliore e più veloce
I ricercatori hanno testato dodici versioni in piccola scala di diverse architetture su un dataset pubblico chiamato FineWeb-Edu, mantenendo il numero di parametri e il tempo di addestramento simili tra tutti. I modelli base includevano Transformer, Mamba-3, Jamba e Zamba. Per Jamba e Zamba, i ricercatori hanno sostituito Mamba-3 al posto dei loro moduli originali 1.
TurboMamba è venuto primo. Ha ottenuto la più bassa perdita media di previsione test tra tutti e dodici i modelli. Il suo errore di previsione è stato del 9,4 percento inferiore rispetto a Mamba-3, del 7,3 percento inferiore rispetto alla versione modificata di Jamba e del 18,3 percento inferiore rispetto alla versione modificata di Zamba 1.
I guadagni di velocità sono stati anche importanti. L'addestramento è stato 2,60 volte più veloce di Mamba-3, 2,81 volte più veloce della versione Jamba e 4,82 volte più veloce della versione Zamba 1. Per la generazione di testo, TurboMamba è stato 3,12 volte più veloce di Mamba-3, 3,53 volte più veloce della versione Jamba e 6,21 volte più veloce della versione Zamba su un batch di 32 sequenze con prompt da 256 token e 128 token generati .
Cosa conta qui
Il risultato mostra che mescolare la velocità di Mamba con la precisione di Transformer è una direzione promettente. I guadagni sono misurati su modelli piccoli, quindi l'approccio dovrà essere testato su scale più ampie. Tuttavia, l'idea di lasciare che un modello globale veloce faccia il lavoro pesante mentre un modello più piccolo gestisca le decisioni locali potrebbe influenzare il modo in cui verranno costruiti i futuri modelli linguistici.
I fatti principali
- TurboMamba combina un modello globale Mamba-3 con un Transformer più piccolo per la previsione dei token
- Ha ottenuto un 9,4 percento in meno di perdita di previsione rispetto a Mamba-3 su FineWeb-Edu
- Il throughput di addestramento è stato 2,60 volte più veloce di Mamba-3 e 4,82 volte più veloce di Zamba
- Il miglioramento della velocità di inferenza ha raggiunto 6,21 volte più veloce della versione Zamba
- I test hanno utilizzato dodici modelli in piccola scala con parametri e budget di addestramento comparabili
Fonti
Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste
Continua a leggere
Come funzionaCome i modelli linguistici dimenticano lentamente l'inizio dei loro promptHerald of AI
Come i modelli linguistici dimenticano lentamente l'inizio dei loro prompt
Un nuovo teorema spiega perché un certo tipo di modello Transformer, in determinate condizioni, perde gradualmente il filo del suo prompt man mano che genera più testo.
Come funzionaCome Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunciHerald of AI
Come Meta triplica la produttività ingegneristica grazie agli agenti per distribuire le tecniche dei modelli di annunci
Il nuovo sistema di agenti AI di Meta adatta automaticamente piccoli miglioramenti attraverso migliaia di modelli pubblicitari, risparmiando milioni nei costi di calcolo.
Come funzionaUn modello di AI grande ha imparato a riparare il proprio cervello senza essere riaddestratoHerald of AI
Un modello di AI grande ha imparato a riparare il proprio cervello senza essere riaddestrato
I ricercatori hanno scoperto che un modello da 27 miliardi di parametri può modificare i propri parametri interni per diventare più preciso: senza bisogno di un insegnante umano.