Modelos de imagen entrenados sin preentrenamiento lingüístico igualaron a rivales en una prueba controlada

Replantearse cómo aprenden los generadores de imágenes

La mayoría de los sistemas populares de texto a imagen de hoy, como Stable Diffusion, dependen de grandes cantidades de entrenamiento lingüístico previo. Leen miles de millones de leyendas de internet primero para aprender qué significan las palabras, y luego combinan ese conocimiento con datos de imagen para generar imágenes.

Un nuevo artículo, listado en Hugging Face bajo Stanford University y descrito en el blog de la empresa de investigación Radical Numerics, plantea una pregunta simple: ¿realmente necesitas todo ese preentrenamiento solo de texto ¹²? En las condiciones que los investigadores probaron, la respuesta fue no.

Crearon una familia de modelos llamada Halcyon, entrenada completamente desde cero con 100 millones de pares imagen-texto de un conjunto de datos llamado GPIC, con imágenes de 256×256 píxeles ². Para comparar de forma justa, reentrenaron los diseños rivales con los mismos datos a la misma resolución . En lugar de enseñarle el lenguaje al modelo por separado antes de mostrarle imágenes, Halcyon aprende ambos al mismo tiempo. Este enfoque se llama early fusion (fusión temprana).

Rendimiento más rápido y más económico

Los resultados sorprendieron a muchos en el campo. Una versión más pequeña de Halcyon, con 520 millones de parámetros, superó a LlamaGen-XL, un modelo late-fusion (fusión tardía) mucho más grande que aprende texto e imágenes por separado, mientras usaba solo 18,2 veces menos computación de preentrenamiento.

Un modelo Halcyon aún más grande, con 1,6 mil millones de parámetros, superó a otro punto de referencia strong late-fusion llamado JiT-T2I-XXL mientras usaba 275 veces menos computación de preentrenamiento. Los autores midieron el rendimiento usando gFD, una puntuación de referencia estándar para la calidad de generación de imágenes, donde menor es mejor.

En estos experimentos controlados, añadir preentrenamiento solo de texto no mejoró los resultados finales de texto a imagen ¹. Esa es una conclusión sobre estos datos, esta resolución y estos tamaños de modelo: no demuestra que el preentrenamiento lingüístico sea inútil para todo modelo o para todo nivel de calidad de imagen.

Qué significa esto para el futuro

Durante años, la suposición por defecto en la comunidad de IA ha sido que la fuerte generación de texto a imagen requiere un masivo preentrenamiento lingüístico primero. Esta investigación desafía esa idea para el entorno que probaron, donde los modelos que aprenden texto e imágenes juntos desde el principio igualaron o superaron a los construidos sobre un modelo lingüístico preentrenado por separado.

Los modelos autoregresivos generan contenido una pieza a la vez: para imágenes, predicen píxeles o tokens de imagen paso a paso, en lugar de eliminar ruido de toda una imagen de una vez como hacen los modelos de difusión.

El equipo también mostró que Halcyon puede adaptarse para describir imágenes reemplazando una técnica llamada caption dropout (caída de leyendas) con un método de entrenamiento diferente llamado supervisión I2T. Esto significó que el modelo pudo aprender a describir imágenes en texto sin sacrificar su capacidad para generar imágenes a partir de indicaciones de texto, todo dentro del mismo presupuesto de preentrenamiento.

El código y los modelos de Halcyon están disponibles públicamente en línea.

Correcciones y actualizaciones

• Corrected on 20 October 2026. An earlier version did not say that all the models were trained and compared on 256×256 images from one dataset, and it presented the finding about language pretraining as true in general rather than under the conditions tested. It also listed four encyclopedia pages that the story does not rely on as sources. These have been corrected.
• Corrected on 20 October 2026. The headline said a new model shows you do not need language pretraining to create images from text. The paper found this under the conditions it tested (256×256 images and 100 million image-text pairs), and the headline now says so.

Los datos clave

• Halcyon was trained from scratch on 100M image-text pairs without prior language pretraining
• Halcyon-0.52B outperformed LlamaGen-XL with 18.2x less pretraining compute
• Halcyon-1.6B outperformed JiT-T2I-XXL with 275x less pretraining compute
• In the tested setting (256×256 images, 100M image-text pairs), text-only pretraining did not improve text-to-image results
• Halcyon can also learn image captioning within the same training budget

Fuentes

1. Paper page - Text-to-Image Generative Modeling Without Language Pretraining
2. Halcyon, by Radical Numerics