Un marco matemático único predice la mejor forma de generar imágenes y texto

Una sola retícula para gobernarlas a todas

Los modelos de difusión y los modelos autoregresivos (AR) han sido tratados durante mucho tiempo como familias separadas de inteligencia artificial generativa. Los modelos de difusión, que eliminan gradualmente el ruido de toda una imagen o secuencia a la vez, se convirtieron en el estándar para datos continuos como fotografías y videos. Los modelos autoregresivos, que generan un token a la vez condicionado a lo que vino antes, dominaron los dominios discretos como el lenguaje ¹. Los enfoques híbridos recientes han intentado combinar ambos, pero cada uno fija su propio cronograma de decodificación por diseño.

Un artículo nuevo sostiene que esta división es innecesaria. Los investigadores, T. Y. Tsui, Jiatao Gu y Lingjie Liu de la Universidad de Pensilvania, presentan un marco teórico único llamado corruption lattice (retícula de corrupción) que sitúa a la difusión, a los modelos AR y a cada cronograma intermedio sobre la misma estructura matemática. Cada decodificador posible se convierte en un camino a través de esta retícula ¹.

El costo es dependencia descartada

La idea clave es cómo definen la calidad de un cronograma. Miden el costo de cualquier cronograma de decodificación como la correlación total —la dependencia— que sus pasos paralelos desechan. Este costo equivale a la divergencia del cronograma con respecto al muestreo exacto, lo que significa que cuantifica exactamente cuánto se desvía un enfoque dado de la generación perfecta ¹.

A partir de esta definición surge una predicción clara: el número mínimo de pasos que necesita un cronograma de costo cero está determinado enteramente por la geometría de los datos mismos. Para datos que siguen una estructura de Markov en un grafo, ese mínimo es igual al treedepth del grafo —una medida bien conocida de la teoría de grafos. El treedepth crece logarítmicamente con la longitud de la secuencia y linealmente con la longitud del lado de una cuadrícula ¹. Esta es la misma regla tanto para tokens discretos como para campos continuos.

Predecir antes de decodificar

Cuando un cronograma usa menos pasos que el treedepth, debe pagar un costo positivo —alguna dependencia siempre se pierde. El artículo muestra que aún puedes ordenar esos cronogramas subóptimos antes de que comience cualquier decodificación, usando un núcleo de dependencia por pares estimado directamente a partir de los pesos de un modelo preentrenado ¹. Esto significa que no necesitas ejecutar la generación completa para saber cuál cronograma tendrá mejor rendimiento con una cantidad fija de pasos.

Los autores prueban estas predicciones a través de generación de texto, generación de imágenes y generación de video, verificando la mayoría de las predicciones de ordenamiento bajo diferentes métricas y pruebas ¹. El trabajo le da a los diseñadores de modelos un principio concreto para elegir y construir cronogramas de decodificación, ya sea que estén construyendo modelos AR futuros, modelos de difusión o híbridos en algún punto intermedio.

El código del proyecto ha sido publicado públicamente.

Why it matters

Durante años, elegir un cronograma de decodificación ha sido en gran medida un tanteo de ingeniería: ajustar empíricamente para cada familia de modelos. Este marco transforma ese proceso en algo predecible. Si conoces la estructura de dependencia de tus datos y tienes pesos preentrenados, puedes ordenar cronogramas con antelación en lugar de ejecutar docenas de generaciones de prueba ¹. Ese cambio del tanteo y error al diseño basado en teoría podría ahorrar una cantidad importante de computación en la próxima generación de modelos generativos.

Los datos clave

Los modelos de difusión, AR e híbridos pueden representarse todos como caminos en una sola retícula de corrupción
El número mínimo de pasos sin costo para datos de Markov es igual al treedepth del grafo, logarítmico en la longitud de la secuencia
Los ordenamientos de cronogramas pueden predecirse antes de la decodificación usando un núcleo de dependencia por pares a partir de pesos preentrenados
Las predicciones se verificaron en pruebas de generación de texto, imagen y video
El código está disponible en https://github.com/TSUITUENYUE/The-Lattice-of-Transition-Laws