Transformador todo a transistor aprende a hacer aprendizaje en contexto

Un transformador construido con componentes de circuito reales

Un nuevo artículo de investigación demuestra que un transformador —la arquitectura detrás de los modelos de IA más potentes de hoy— puede construirse usando solo componentes electrónicos físicos en lugar de chips informáticos digitales ¹. El dispositivo se entrena mediante un método llamado propagación de equilibrio, que enseña a un sistema enviando información en ambas direcciones a través del circuito, en lugar de ejecutar código en una GPU .

La mayoría de los sistemas entrenados en hardware construidos de esta manera han tenido dificultades con tareas que requieren conectar partes relacionadas de información, como recordar una regla del inicio de una oración y aplicarla más tarde. Esas tareas son fáciles para los transformadores de software pero difíciles para los diseños de circuitos más simples utilizados hasta ahora ¹.

Resolver el problema del flujo inverso

El problema proviene de cómo fluye la información a través del hardware. En la propagación de equilibrio, una señal hacia adelante lleva los datos de entrada a través del circuito, y una señal inversa devuelve la información del error. En circuitos complejos que realizan multiplicación —necesarios para el mecanismo de atención en el corazón de los transformadores— el flujo inverso se interrumpe ¹.

Los investigadores, Michael C. Abbott y Benjamin B. Machta, resolvieron esto añadiendo elementos de circuito especiales que restauran el flujo bidireccional de información ¹. Construyeron un mecanismo de atención utilizando el comportamiento exponencial natural de la corriente en dispositivos MOSFET de subumbral, que son un tipo de transistor que opera con tensiones muy bajas .

Aprendizaje a partir del contexto en un circuito físico

En simulaciones, el circuito todo a transistor se entrenó para realizar una sencilla tarea de aprendizaje en contexto —la capacidad de captar un patrón a partir de ejemplos dados en el texto de entrada y aplicarlo a una nueva pregunta, sin ninguna actualización de pesos ¹. Esta es una de las habilidades más útiles de los grandes modelos de lenguaje.

El entrenamiento solo funcionó cuando los investigadores usaron pérdida de entropía cruzada, no el error cuadrático medio más común ¹. Para generar los "impulsos" que el algoritmo necesitaba para esta función de pérdida, diseñaron un elemento de circuito flotante novel basado en el mismo subcircuito MOSFET usado para softmax .

Las resistencias del circuito se entrenaron usando el optimizador Lion, que puede implementarse usando solo un condensador por parámetro para almacenar una memoria local de estimaciones de gradiente pasadas —un detalle importante para hacer que todo funcione en hardware físico ¹.

Why it matters

El resultado aún no supera a los transformadores de software en grandes benchmarks, pero demuestra un principio: los tipos de razonamiento y aprendizaje asociativo que hacen útiles a los transformadores pueden reproducirse en hardware analógico puro ¹. Si los investigadores pueden escalar este enfoque, podría algún día dar lugar a dispositivos de IA que aprenden y se adaptan en el chip, sin enviar datos constantemente de vuelta a un servidor.

El artículo se publicó en arXiv el 8 de octubre de 2026 ¹.

Los datos clave

• El transformador se construyó enteramente con transistores usando propagación de equilibrio, un método de aprendizaje bidireccional
• Añadir elementos de circuito especiales restauró el flujo inverso de información que la multiplicación normalmente interrumpe
• El circuito realizó con éxito el aprendizaje en contexto en simulaciones usando pérdida de entropía cruzada
• Se usó el optimizador Lion, almacenando el historial de gradientes con un condensador por parámetro
• El trabajo se publicó en arXiv el 8 de octubre de 2026, de Abbott y Machta

Fuentes

1. An all-transistor physical-learning transformer can be trained to perform in-context learning