JEPA-Anything Usa Una Ricetta per Modellare Sette Mondi Diversi

Un Modello, Sette Mondi

Un team di ricercatori di PhAI Labs, CUHK, Fudan, Stanford, Oxford e Princeton ha rilasciato JEPA-Anything, un framework che impara modelli predittivi attraverso sette settori profondamente diversi utilizzando una singola ricetta condivisa.

L'idea alla base dei modelli predittivi del mondo — sistemi di intelligenza artificiale che prevedono come il mondo cambia nel tempo — è stata tradizionalmente specifica per ogni dominio. Si potrebbe addestrare un modello per i video, un altro per la robotica e un terzo per le simulazioni molecolari. JEPA-Anything salta questo passo. Applica lo stesso metodo fondamentale alla visione, alla biologia, ai percorsi clinici, al controllo, alla dinamica molecolare, ai campi fisici e alla meteorologia.

Il team attribuisce questa flessibilità a una tecnica chiamata Fattorizzazione Predittiva Ortogonale, o OPF, che secondo loro risolve una debolezza chiave dei sistemi [JEPA] standard.

La correzione della fattorizzazione

Un JEPA standard, come I-JEPA o V-JEPA 2, prevede un unico target unificato. I ricercatori definiscono questo un problema di allocazione della capacità: le caratteristiche ad alta varianza dominano mentre le modalità più deboli ricevono segnali di addestramento contraddittori. In pratica, questo significa che il modello diventa bravo a prevedere alcune cose ma povero in altre.

OPF risolve questo problema suddividendo il target latente in K sottospatiali separati — nella maggior parte degli esperimenti si usano quattro — ognuno con il proprio predicatore dedicato. Dopo la previsione, i fattori vengono ricombinati matematicamente per formare uno stato latente completo. Tre regole integrate tengono ogni fattore utile e ne prevengono la sovrapposizione.

Su un test chiamato CITRIS Interventional Pong, la versione ortogonale del modello ha raggiunto un numero di condizione vicino a 1,0, rispetto a 438,52 per un modello non ortogonale con capacità equivalente. Questo significa che i fattori sono rimasti chiaramente separati durante l'addestramento.

Risultati attraverso i domini

JEPA-Anything ha migliorato le metriche riportate su tutte le dieci attività dinamiche abbinatestate. Su Interventional Pong, l'errore di previsione a singolo intervento è diminuito di circa il 35 percento. Sul benchmark dell'equazione di Burgers, l'errore di rollout a sei passaggi si è ridotto di circa il 45 percento [fonte 1]. Nella dinamica molecolare, il modello ha ottenuto gli errori mono-passo e a 100 passaggi più bassi su quattro sostanze tra cui acqua e benzene.

Oltre alla previsione pura, il sistema ha prodotto insight scientifici inaspettati. Durante l'analisi di dati biologici a singola cellula, una combinazione di blocco IL-18 e CD73 nominata dai fattori è stata poi confermata attraverso esperimenti in laboratorio umido su colture cellulari, organoidi derivati da pazienti, frammenti tumorali e topi. Il modello ha anche recuperato la legge di Keplero sul moto planetario da pattern orbitali latenti, con un esponente stimato di -1,4991 contro il valore teorico di -1,5 [fonte 1].

Le prestazioni di pianificazione sono state contrastanti. Il sistema ha migliorato i risultati sui benchmark robotici Walker2d e HalfCheetah, ma il JEPA standard ha performato meglio su Hopper.

Aperto alla comunità

Il codice sorgente è concesso in licenza Apache-2.0, e i checkpoint di ricerca sono disponibili su Hugging Face. I ricercatori sostengono che i loro risultati mostrano come un principio predittivo fattorizzato comune possa collegare la modellazione del mondo con l'intervento nel mondo reale e la scoperta scientifica.

Il paper è disponibile su arXiv come JEPA-Anything: Learning Predictive Models across Different Worlds, insieme al codebase completo e ai checkpoint del modello.

I fatti principali

• JEPA-Anything usa una ricetta condivisa in sette domini invece di modelli personalizzati per ogni campo
• La Fattorizzazione Predittiva Ortogonale suddivide le previsioni in fattori separati con predicatori dedicati
• L'errore a singolo intervento su Interventional Pong è diminuito del 34,83 percento rispetto alle baseline abbinati
• L'analisi fattoriale ha nominato un intervento oncologico poi confermato negli esperimenti in laboratorio umido
• Il codice sorgente è Apache-2.0 con checkpoint su Hugging Face

Fonti

1. Beyond Domain-Specific World Models: JEPA-Anything Uses 1 Recipe for 7 Fields — marktechpost.com
2. JEPA-Anything: Learning Predictive Models across Different Worlds
3. JEPA-Anything: Learning Predictive Models across Different Worlds
4. GitHub - Gen-Verse/JEPA-Anything: JEPA-Anything: Learning Predictive ...
5. JEPA-Anything: Single Model Trains Across 7 Domains — aidailypost.com

Questa notizia è stata scritta prima che ogni paragrafo avesse il numero della sua fonte: ogni fatto viene da una delle fonti qui sopra.