Trasformatore interamente a transistor impara a fare apprendimento in contesto

Un trasformatore costruito con parti circuitoriali reali

Un nuovo paper di ricerca mostra che un transformer — l'architettura dietro i modelli AI più potenti di oggi — può essere costruito utilizzando solo componenti elettronici fisici anziché chip per computer digitali ¹. Il dispositivo viene addestrato attraverso un metodo chiamato propagazione all'equilibrio, che insegna a un sistema inviando informazioni in entrambe le direzioni attraverso il circuito, piuttosto che eseguendo codice su una GPU .

La maggior parte dei sistemi addestrati su hardware costruiti in questo modo hanno faticato con compiti che richiedono di collegare pezzi di informazione correlati, come ricordare una regola dalla prima parte di una frase e applicarla in seguito. Questi compiti sono facili per i transformer software ma difficili per i circuiti più semplici progettati finora ¹.

Risolvere il problema del flusso inverso

Il problema deriva da come le informazioni fluiscono attraverso l'hardware. Nella propagazione all'equilibrio, un segnale in avanti trasporta i dati di input attraverso il circuito, e un segnale inverso riporta le informazioni di errore. Nei circuiti complessi che eseguono moltiplicazioni — necessari per il meccanismo di attenzione al centro dei transformer — il flusso inverso si interrompe ¹.

I ricercatori, Michael C. Abbott e Benjamin B. Machta, hanno risolto aggiungendo elementi circuitoriali speciali che ripristinano il flusso bidirezionale delle informazioni ¹. Hanno costruito un meccanismo di attenzione utilizzando il naturale comportamento esponenziale della corrente dei dispositivi MOSFET sub-soglia, che sono un tipo di transistor che opera a tensioni molto basse .

Apprendere dal contesto in un circuito fisico

Nelle simulazioni, il circuito interamente a transistor è stato addestrato a eseguire un semplice apprendimento in contesto — la capacità di cogliere un pattern da esempi forniti nel prompt e applicarlo a una nuova domanda, senza alcun aggiornamento dei pesi ¹. Questa è una delle abilità più utili dei modelli linguistici di grandi dimensioni.

L'addestramento ha funzionato solo quando i ricercatori hanno utilizzato la perdita cross-entropy, non il più comune errore quadratico medio ¹. Per generare i "sollecitamenti" necessari all'algoritmo per questa funzione di perdita, hanno progettato un elemento circuitoriale galleggiante innovativo basato sullo stesso sotto-circuito MOSFET usato per softmax .

Le resistori nel circuito sono state addestrate utilizzando l'ottimizzatore Lion, che può essere implementato con un solo condensatore per parametro per memorizzare localmente stime precedenti del gradiente — un dettaglio importante per far funzionare tutto l'insieme in hardware fisico ¹.

Perché è importante

Il risultato non supera ancora i transformer software nei benchmark di grandi dimensioni, ma dimostra un principio: i tipi di ragionamento e apprendimento associativo che rendono utili i transformer possono essere riprodotti in hardware analogico puro ¹. Se i ricercatori riescono a scalare questo approccio, potrebbe un giorno portare a dispositivi AI che apprendono e si adattano on-chip, senza inviare costantemente dati a un server.

Il paper è stato pubblicato su arXiv l'8 ottobre 2026 ¹.

I fatti principali

Il transformer è stato costruito interamente con transistor utilizzando la propagazione all'equilibrio, un metodo di apprendimento bidirezionale
L'aggiunta di elementi circuitoriali speciali ha ripristinato il flusso inverso delle informazioni che la moltiplicazione normalmente interrompe
Il circuito ha eseguito con successo apprendimento in contesto nelle simulazioni utilizzando la perdita cross-entropy
È stato utilizzato l'ottimizzatore Lion, che memorizza la cronologia dei gradienti con un condensatore per parametro
Il lavoro è stato pubblicato su arXiv l'8 ottobre 2026 da Abbott e Machta

Fonti

An all-transistor physical-learning transformer can be trained to perform in-context learning