Reka presenta Rho-1, un único modelo de IA que genera video y controla robots

Reka ha lanzado una vista previa de investigación de Rho-1, un modelo "ómnirazonador" de 19 mil millones de parámetros entrenado completamente desde cero. Es una red neuronal única que puede comprender y crear texto, imágenes y video, razonar sobre ellos e incluso generar comandos robóticos, todo sin cambiar entre diferentes modelos especializados ¹.

Por qué importa

La mayoría de los sistemas de IA multimodal (que significa "capaz de manejar múltiples tipos de datos") actuales funcionan como líneas de ensamble. Un modelo central planea una tarea, luego la pasa a especialistas separados para imágenes, video o detección. Cada cambio añade demora, y cada especialista solo ve una parte estrecha del problema ¹.

Rho-1 elimina esos cambios por completo. Texto, imágenes, video y acciones robóticas se tratan todos como tokens, los bloques de construcción básicos con los que trabaja el modelo, dentro de una ventana de contexto compartida. En una demostración sin editar, el modelo dibujó un faro, lo enmarcó, lo animó, editó el video en una escena de tormenta de nieve y explicó la diferencia, todo en cinco turnos y sin usar un segundo modelo ¹.

Cómo funciona

Rho-1 utiliza dos flujos expertos dentro de cada capa de su red neuronal, pero comparten un sistema de memoria llamado caché KV (abreviatura de caché clave-valor, que almacena información que el modelo ya procesó para que no necesite recalculárla) ¹.

El flujo de comprensión maneja el lenguaje y el análisis visual, mientras que el flujo de generación convierte representaciones de datos comprimidas llamadas latentes en imágenes y video. Cuando el modelo necesita producir píxeles, el flujo de comprensión envía un token de entrega especial, y el flujo de generación renderiza desde el estado acumulado completo ¹.

El entrenamiento combina la predicción del próximo token (predecir la siguiente pieza de datos en una secuencia) para texto y razonamiento simbólico con la coincidencia de flujo para salidas continuas como imágenes y video ¹.

Esto significa que los recuadros de delimitación salen como tokens de coordenadas en lugar de necesitar un detector separado, y el primer frame de un video reutiliza la representación de imagen ya computada en lugar de codificarla nuevamente ¹.

Velocidad y rendimiento

El modelo base Rho-1 genera video a aproximadamente 0,79 veces la velocidad real, con una transmisión visible que comienza en roughly seis segundos ¹. Reka midió siete segundos para generar un primer clip, en comparación con los 13,8 segundos ilustrativos para una tubería de agentes múltiples que usa modelos separados .

Una variante destilada (simplificada) reduce los pasos de denoising de 99 a solo 8, con una pérdida de calidad mínima reportada. Produjo un clip de 5,3 segundos en aproximadamente un segundo ¹. En pruebas internas, igualó a los modelos de imagen dedicados más rápidos y fue el modelo probado más rápido en producir su primer token de texto . Reka señala que estas son pruebas realizadas por el fabricante, no benchmarks independientes .

Robótica y modelado del mundo

Rho-1 transmite continuamente, clip tras clip, y nuevas instrucciones pueden ingresar a través del flujo de comprensión y actualizar su estado durante la generación ¹. En una demostración, se mostró un video de un tenedor que se divide en continuaciones "doblar a la izquierda" y "doblar a la derecha" .

Para robótica, las acciones y los frames futuros se decodifican desde el mismo estado latente. Un episodio de simulación en el entorno LIBERO mostró a Rho-1 emitiendo siete canales de acción ¹. Para escalar más allá de la cantidad limitada de datos de entrenamiento por teleoperación (control remoto) disponible, Reka también empareja Rho-1 con su Modelo de Dinámica Inversa, que infiere señales de control a partir de video sin procesar .

Comparación con otros modelos

Los 19B de parámetros de Rho-1 se sitúan entre los 14 mil millones de parámetros de BAGEL de ByteDance (que usa un diseño de Mezcla de Expertos) y los 34 mil millones de parámetros de Emu3.5 de BAAI ¹. El Genie 3 de Google DeepMind genera video nativo en 720p pero no genera acciones robóticas . A diferencia de algunos competidores, Rho-1 no es de peso abierto y actualmente solo está disponible como vista previa de investigación mediante solicitud por correo electrónico .

Rho-1 fue entrenado en 320 GPUs H100 durante tres meses, y su salida de video está limitada a una resolución de 672 por 384 ¹. Aún no hay API pública ni precios .

Los datos clave

• Rho-1 es un modelo de 19B de parámetros que maneja texto, imágenes, video y acciones robóticas en una sola red
• Una versión destilada reduce el denoising de 99 a 8 pasos, produciendo un clip de 5,3 segundos en aproximadamente 1 segundo
• La salida de video está limitada a una resolución de 672x384
• Entrenado en 320 GPUs H100 durante 3 meses
• Disponible solo como vista previa de investigación por correo electrónico; sin pesos públicos, API ni precios aún

Fuentes

1. Reka Releases Rho-1: A 19B Omni-Reasoning Model That Understands, Generates Video and Outputs Robot Actions in One — marktechpost.com