AIGenerato
EN · IT · ES

TurboMamba combina Mamba e Transformer per modelli linguistici più veloci e intelligenti

Una nuova architettura ibrida migliora la velocità e la precisione mescolando due tipi di architetture AI.

Primo piano di due monitor per computer con schermate verde acceso in una stanza buia, dai quali trasmette un'idea di sicurezza informatica.
Foto di archivio · Foto: Tima Miroshnichenko / Pexels
Come funziona

Un modello linguistico che unisce due design di AI per elaborare il testo più velocemente e fare previsioni più precise.

Un nuovo modo per rendere più veloci i modelli linguistici

I ricercatori hanno creato TurboMamba, un nuovo design per modelli linguistici che funziona più velocemente sia durante l'addestramento sia nella generazione di testo. Il lavoro è stato pubblicato su arXiv da Hanxin Zhang 1.

L'idea centrale è mescolare due tipi ben noti di architetture AI: Mamba e Transformer. Mamba (chiamato anche Mamba-3 in questo lavoro) è un modello molto efficiente nell'elaborare lunghe sequenze di testo. Transformer è l'architettura alla base della maggior parte dei modelli linguistici più popolari oggi, nota per la sua forte capacità predittiva. TurboMamba cerca di ottenere il meglio di entrambi i mondi.

Come funziona

Ecco la versione semplice: un modello globale Mamba viene eseguito una volta per un intero blocco di token — un gruppo di parole o parti di parola che il modello elabora insieme. Un Transformer più piccolo poi osserva il contesto globale prodotto da Mamba, più i token precedenti nel blocco corrente, per prevedere il token successivo.

Tre piccoli aggiustamenti rendono le previsioni locali ancora migliori. Primo, il modello può accedere direttamente all'ultimo token del blocco precedente. Secondo, applica una piccola correzione ai punteggi per il token successivo. Terzo, impara a fondere le previsioni del Transformer con la frequenza con cui certi token recenti sono apparsi.

Questo significa che il lavoro pesante è fatto dal modello veloce Mamba, mentre il Transformer più piccolo si concentra solo sull'ottimizzare le previsioni all'interno di ogni blocco.

In un colpo d’occhio

Quanto TurboMamba sbaglia meno degli altri design

  • vs. Mamba-39.4%
  • vs. Jamba7.3%
  • vs. Zamba18.3%

Test FineWeb-Edu; perdita media predittiva nei test su modelli piccoli

Migliore e più veloce

I ricercatori hanno testato dodici versioni in piccola scala di diverse architetture su un dataset pubblico chiamato FineWeb-Edu, mantenendo il numero di parametri e il tempo di addestramento simili tra tutti. I modelli base includevano Transformer, Mamba-3, Jamba e Zamba. Per Jamba e Zamba, i ricercatori hanno sostituito Mamba-3 al posto dei loro moduli originali 1.

TurboMamba è venuto primo. Ha ottenuto la più bassa perdita media di previsione test tra tutti e dodici i modelli. Il suo errore di previsione è stato del 9,4 percento inferiore rispetto a Mamba-3, del 7,3 percento inferiore rispetto alla versione modificata di Jamba e del 18,3 percento inferiore rispetto alla versione modificata di Zamba 1.

I guadagni di velocità sono stati anche importanti. L'addestramento è stato 2,60 volte più veloce di Mamba-3, 2,81 volte più veloce della versione Jamba e 4,82 volte più veloce della versione Zamba 1. Per la generazione di testo, TurboMamba è stato 3,12 volte più veloce di Mamba-3, 3,53 volte più veloce della versione Jamba e 6,21 volte più veloce della versione Zamba su un batch di 32 sequenze con prompt da 256 token e 128 token generati .

Cosa conta qui

Il risultato mostra che mescolare la velocità di Mamba con la precisione di Transformer è una direzione promettente. I guadagni sono misurati su modelli piccoli, quindi l'approccio dovrà essere testato su scale più ampie. Tuttavia, l'idea di lasciare che un modello globale veloce faccia il lavoro pesante mentre un modello più piccolo gestisca le decisioni locali potrebbe influenzare il modo in cui verranno costruiti i futuri modelli linguistici.

I fatti principali

  • TurboMamba combina un modello globale Mamba-3 con un Transformer più piccolo per la previsione dei token
  • Ha ottenuto un 9,4 percento in meno di perdita di previsione rispetto a Mamba-3 su FineWeb-Edu
  • Il throughput di addestramento è stato 2,60 volte più veloce di Mamba-3 e 4,82 volte più veloce di Zamba
  • Il miglioramento della velocità di inferenza ha raggiunto 6,21 volte più veloce della versione Zamba
  • I test hanno utilizzato dodici modelli in piccola scala con parametri e budget di addestramento comparabili

Fonti

  1. TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere