H-JEPA permette all'AI di pianificare a più livelli di astrazione
Un nuovo approccio gerarchico consente all'AI di ragionare su mosse a breve termine e obiettivi a lungo termine allo stesso tempo.

Un metodo di pianificazione dell'AI che organizza il ragionamento a strati, così le macchine possono gestire sia i piccoli passi che gli obiettivi grandi tutto insieme.
- Il livello più alto sceglie un obiettivo astratto.
- I livelli bassi lo scompongono in passaggi più piccoli.
- Il livello più basso trasforma i passaggi in azioni vere e proprie.
- Tutti i livelli si allenano insieme.
Costruire una mappa mentale che pensa per livelli
H-JEPA è una nuova tecnica di AI che aiuta le macchine a pianificare per lunghi periodi di tempo organizzando il loro pensiero in livelli separati di dettaglio. Invece di cercare di gestire ogni piccolo movimento e l'obiettivo generale in un unico grande cervello, H-JEPA divide il compito in una gerarchia in cui ogni livello gestisce la propria scala temporale.
L'idea si basa su un sistema precedente chiamato JEPA, che sta per Joint-Embedding Predictive Architecture. Un modello JEPA impara a prevedere cosa accadrà dopo confrontando versioni codificate della situazione attuale e degli stati futuri 1. Ma il JEPA standard funziona a una singola scala temporale — o prevede il futuro vicino in dettaglio, o il futuro lontano a un livello alto, ma non entrambe le cose bene contemporaneamente.
H-JEPA risolve questo problema impilando più modelli JEPA uno sopra l'altro. Ogni livello più in alto impara a guardare più in là nel suo spazio astratto. I dettagli che cambiano rapidamente come i movimenti delle gambe vengono filtrati in alto, mentre le informazioni più lente e importanti come la posizione complessiva rimangono chiare 2.
Come funziona la gerarchia
Pianificare con H-JEPA scorre dall'alto verso il basso. Il livello più alto fissa un obiettivo astratto, come "raggiungere l'uscita del labirinto." Le sue previsioni diventano poi sotto-obiettivi per il livello sottostante, che li scompongono in passi più piccoli. Il livello più basso infine trasforma quei passi in azioni effettive 2.
Tutti i livelli vengono addestrati insieme in un unico passaggio. I gradienti dagli obiettivi top-down fluiscono indietro attraverso gli encoder inferiori, così ogni livello impara a servire l'intera gerarchia 3. Un metodo di regolarizzazione chiamato SIGReg previene che il sistema collassi in una rappresentazione inutile durante l'addestramento 2.
Questo design a strati rispecchia il modo in cui gli esseri umani pianificano. Potresti decidere di guidare fino a una città, poi capire quali strade prendere, poi sterzare — ogni passo vive a un livello diverso di dettaglio.
Dall'annuncio ufficialeImparare le astrazioni
Risultati migliori in mondi simulati
I ricercatori hanno testato H-JEPA in quattro ambienti simulati, inclusi compiti di navigazione e manipolazione 3. Su Visual AntMaze, una gerarchia a tre livelli ha aumentato i tassi di successo dal 18% al 73%, utilizzando meno calcolo di pianificazione rispetto a un modello JEPA piatto 2.
Ulteriori analisi hanno mostrato che i miglioramenti provenivano da due fonti: la suddivisione della pianificazione attraverso scale temporali e la possibilità per i livelli superiori di formare rappresentazioni degli obiettivi più limpide 3. L'aggiunta della supervisione della dinamica inversa ha anche migliorato le prestazioni su video di robot reali dal dataset DROID, con una maggiore fedeltà alla pianificazione offline a minor costo computazionale .
Il codice per H-JEPA è stato rilasciato come implementazione in PyTorch, incluse una variante di apprendimento auto-supervisionato con patch mascherate e un'opzione di addestramento end-to-end 4.
Dall'annuncio ufficialeLa pianificazione in pratica
Dall'annuncio ufficialeVideo nel mondo reale: DROID
I fatti principali
- H-JEPA impila più modelli JEPA in una gerarchia per la pianificazione multiscala
- Su Visual AntMaze, una gerarchia a tre livelli ha aumentato il successo dal 18% al 73%
- Ogni livello più in alto prevede più avanti nel suo spazio latente appreso
- L'approccio ha anche migliorato la pianificazione su video di robot reali dal dataset DROID
- Tutti i livelli vengono addestrati end-to-end con gradienti che fluiscono attraverso la gerarchia
Fonti
Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste
Continua a leggere
App e prodottiGoogle lancia TorchTPU, un backend nativo per PyTorch su TPU nel cloudHerald of AIhttps://github.com/soumith, CC BY-SA 4.0, via Wikimedia Commons
Google lancia TorchTPU, un backend nativo per PyTorch su TPU nel cloud
Un nuovo stack open-source permette agli sviluppatori di far girare modelli PyTorch direttamente sui chip TPU di Google, sostituendo il vecchio sistema PyTorch/XLA.
Come funzionaLa startup di LeCun presenta H-JEPA, un modello gerarchico per la pianificazione visivaHerald of AI
La startup di LeCun presenta H-JEPA, un modello gerarchico per la pianificazione visiva
AMI pubblica il suo primo studio con codice e pesi interamente open source, mostrando che impilare livelli di previsione migliora drasticamente la pianificazione a lungo termine nei compiti visivi.
Aziende e regoleMirendil raccoglie 1 miliardo di dollari per usare agenti di AI nello sviluppo più veloce dei modelliHerald of AI
Mirendil raccoglie 1 miliardo di dollari per usare agenti di AI nello sviluppo più veloce dei modelli
Una nuova startup fondata da ricercatori ex Google DeepMind e Anthropic afferma che la sua piattaforma automatizzata permette a piccoli team di creare grandi modelli di AI rapidamente ed economicamente.