Investigadores logran generación de texto en un solo paso con Seq-Drifting
Un nuevo marco de trabajo mapea ruido aleatorio directamente a texto completo en un solo pase, omitiendo el lento proceso de múltiples pasos en el que se basan la mayoría de los modelos de IA.
Una vía más rápida para generar texto
La mayoría de los modelos de lenguaje de IA que utilizan tecnología de difusión generan texto comenzando con ruido aleatorio y refinándolo gradualmente en múltiples pasos — como si se enfocara lentamente una foto borrosa. Aunque estos modelos pueden producir muchos tokens a la vez, aún necesitan varias rondas de muestreo antes de que el texto se vea bien.
Investigadores, entre ellos Jiayu Liu, Ruizhi Zhao, Tianyun Ji, Yee Whye Teh, Zhenya Huang y Ning Miao, propusieron un nuevo método llamado Seq-Drifting que omite esos pasos adicionales por completo 1. Su enfoque genera una secuencia completa de texto en un solo pase directo, tomando ruido aleatorio y transformándolo en un lenguaje coherente.
Cómo funciona
Seq-Drifting aplica un concepto llamado "deriva" a secuencias de representaciones continuas de tokens. En términos simples, el modelo aprende un mapeo directo desde ruido gaussiano — pura aleatoriedad — hasta texto real 1.
La diferencia clave con respecto a los primeros modelos de lenguaje basados en difusión radica en cómo el sistema guía cada token durante el entrenamiento. Los modelos tradicionales derivan su señal de entrenamiento directamente de los tokens reales de una secuencia de entrenamiento. Seq-Drifting, en cambio, construye lo que los investigadores llaman un "campo de deriva", donde el objetivo para cada posición se adapta según el contexto que ya se está generando 1.
En cada posición, dos fuerzas trabajan juntas. Una fuerza de atracción guía cada salida hacia representaciones de tokens que tienen sentido en el contexto. Una fuerza de repulsión actúa en dirección opuesta, evitando que diferentes muestras se colapsen en salidas idénticas y deteniendo al modelo de repetirse dentro de una misma secuencia 1.
Durante el entrenamiento, el generador aprende a partir de este campo de deriva. Luego, en el momento de inferencia, produce todos los tokens de forma conjunta en un solo pase.
Resultados sólidos en un solo paso
Los investigadores probaron Seq-Drifting en el benchmark de modelado de lenguaje LM1B y lograron una puntuación de perplejidad generativa de 36,01 en un solo paso 1. La perplejidad es una medida común de qué tan bien un modelo de lenguaje predice el texto: puntuaciones más bajas significan mejor rendimiento.
El método mostró un desempeño competitivo tanto en generación incondicional, donde el modelo produce texto por sí mismo, como en generación condicional, donde sigue una instrucción o prompt dado 1.
Más allá de la creación abierta de texto, el equipo también realizó experimentos en traducción, resumen y tareas de razonamiento, encontrando que el marco permanece efectivo a través de estas distintas aplicaciones 1. Los resultados sugieren que la deriva sobre secuencias de tokens es una vía viable hacia una generación de texto eficiente en un solo paso.
Los investigadores compartieron su código en GitHub para que otros puedan construir sobre él 2.
Los datos clave
- Seq-Drifting genera secuencias completas de texto en un solo pase directo, eliminando el muestreo de difusión en múltiples pasos
- Logra una perplejidad generativa de 36,01 en el benchmark LM1B en un solo paso
- El método utiliza un campo de deriva con fuerzas de atracción y repulsión para guiar la generación de tokens
- Seq-Drifting se probó en traducción, resumen y tareas de razonamiento, además de la generación abierta
- El código está disponible públicamente en GitHub