Reka presenta Rho-1, un singolo modello di intelligenza artificiale che genera video e controlla robot

Reka ha rilasciato un'anteprima di ricerca di Rho-1, un modello "omni-reasoning" da 19 miliardi di parametri addestrato interamente da zero. È un'unica rete neurale in grado di comprendere e generare testo, immagini e video, ragionare su di essi e persino produrre comandi robotici, il tutto senza passare tra diversi modelli specializzati ¹.

Perché è importante

La maggior parte dei sistemi di intelligenza artificiale multimodali (cioè "in grado di gestire diversi tipi di dati") oggi funziona come una catena di montaggio. Un modello centrale pianifica un compito, poi lo passa a specialisti separati per immagini, video o rilevamento. Ogni passaggio aggiunge ritardo, e ogni specialista vede solo una stretta fetta del problema ¹.

Rho-1 elimina completamente questi passaggi. Testo, immagini, video e azioni robotiche sono tutti trattati come token, le unità fondamentali con cui il modello lavora, all'interno di un'unica finestra di contesto condivisa. In una demo non editata, il modello ha disegnato un faro, lo ha racchiuso in un riquadro, animato, modificato il video in una scena di tormenta di neve, e ha spiegato la differenza, il tutto in cinque turni e senza utilizzare un secondo modello ¹.

Come funziona

Rho-1 utilizza due stream di esperti all'interno di ogni livello della sua rete neurale, ma condividono un unico sistema di memoria chiamato KV cache (abbreviazione di key-value cache, che memorizza le informazioni già elaborate dal modello così da non doverle ricalcolare) ¹.

Lo stream di comprensione gestisce il linguaggio e il parsing visivo, mentre lo stream di generazione trasforma le rappresentazioni di dati compresse chiamate latenti in immagini e video. Quando il modello ha bisogno di produrre pixel, lo stream di comprensione invia un token di passaggio speciale, e lo stream di generazione renderizza dallo stato cumulativo completo ¹.

L'addestramento combina la previsione del prossimo token (prevedere il prossimo elemento di dati in una sequenza) per testo e ragionamento simbolico con il flow matching per output continui come immagini e video ¹.

Questo significa che i bounding box escono come token di coordinate invece di richiedere un rilevatore separato, e il primo frame di un video riutilizza la rappresentazione dell'immagine già calcolata invece di codificarla di nuovo ¹.

Velocità e prestazioni

Il modello base Rho-1 genera video a circa 0,79 volte la velocità reale, con uno stream fruibile che parte in circa sei secondi ¹. Reka ha misurato sette secondi per generare un primo clip, rispetto ai 13,8 secondi illustrativi per una pipeline multi-agente che utilizza modelli separati .

Una variante distillata (semplificata) riduce i passaggi di denoising da 99 a soli otto, con una perdita di qualità minima segnalata. Ha prodotto un clip da 5,3 secondi in circa un secondo ¹. Nei test interni, ha eguagliato i modelli immagine dedicati più veloci ed è stato il modello testato più rapido a produrre il suo primo token di testo . Reka nota che si tratta di test condotti dal venditore, non benchmark indipendenti .

Robotica e modelizzazione del mondo

Rho-1 trasmette in modo continuo, clip dopo clip, e nuove istruzioni possono entrare attraverso lo stream di comprensione e aggiornarne lo stato a metà generazione ¹. In una dimostrazione è stato mostrato un video di una forchetta che si divide in due continuazioni "bank left" e "bank right" .

Per la robotica, azioni e frame futuri vengono decodificati dallo stesso stato latente. Un episodio di simulazione nell'ambiente LIBERO ha mostrato Rho-1 che emetteva sette canali di azione ¹. Per superare la quantità limitata di dati di addestramento di teleoperazione (controllo remoto) disponibili, Reka abbina anche Rho-1 con il suo Inverse Dynamics Model, che inferisce segnali di controllo da video grezzo .

Confronto con altri modelli

I 19B parametri di Rho-1 si collocano tra i 14 miliardi di parametri di BAGEL di ByteDance (che utilizza un design a Mixture of Experts) e i 34 miliardi di parametri di Emu3.5 di BAAI ¹. Genie 3 di Google DeepMind genera video nativo a 720p ma non produce azioni robotiche . A differenza di alcuni competitor, Rho-1 non è open-weight e al momento è disponibile solo come anteprima di ricerca su richiesta via email .

Rho-1 è stato addestrato su 320 GPU H100 in tre mesi, e il suo output video è limitato a una risoluzione di 672 per 384 ¹. Al momento non esiste né un'API pubblica né i prezzi .

I fatti principali

• Rho-1 è un modello da 19B di parametri che gestisce testo, immagini, video e azioni robotiche in una singola rete
• Una versione distillata riduce il denoising da 99 a 8 passaggi, producendo un clip da 5,3 secondi in circa 1 secondo
• L'output video è limitato a una risoluzione di 672x384
• Addestrato su 320 GPU H100 in 3 mesi
• Disponibile solo come anteprima di ricerca via email; nessun peso pubblico, API o prezzi ancora disponibili

Fonti

1. Reka Releases Rho-1: A 19B Omni-Reasoning Model That Understands, Generates Video and Outputs Robot Actions in One — marktechpost.com