La startup di LeCun presenta H-JEPA, un modello gerarchico per la pianificazione visiva

Un primo risultato dalla startup di LeCun

AMI (Advanced Machine Intelligence), la startup di Yann LeCun dedicata ai world model, ha pubblicato il suo primo paper di ricerca. Il lavoro introduce H-JEPA, un modello gerarchico per la pianificazione visiva, co-autorato con ricercatori della New York University, dell'INRIA Paris e della Brown University. Accanto al paper, il team ha open-sourced il codice completo e i pesi del modello pre-addestrato su Hugging Face.

L'idea era in sviluppo da quando LeCun propose per la prima volta la versione gerarchica di JEPA (Joint Embedding Predictive Architecture) nel 2022, durante il suo periodo presso Meta. L'intuizione centrale è semplice: invece di chiedere a un modello piatto di gestire tutto, dagli obiettivi generali ai minimi movimenti fisici, si impilano più livelli, ciascuno responsabile di una scala temporale diversa.

Come la gerarchia rende possibile la pianificazione

In H-JEPA, ogni livello ha il proprio encoder di stato, encoder di azione e predittore. Il livello più basso legge le immagini grezze; i livelli superiori astraggono sempre di più, conservando solo le informazioni rilevanti alla loro scala temporale. Durante la pianificazione, il livello superiore formula un piano approssimativo a lungo termine e trasmette verso il basso uno stato intermedio previsto come sotto-obiettivo. I livelli inferiori affinano poi quel sotto-obiettivo trasformandolo in azioni effettivamente eseguibili.

Questa divisione del lavoro rispecchia il modo in cui gli esseri umani pianificano un viaggio: prima si decide la destinazione e il volo, poi si stabilisce quale taxi prendere e, infine, ci si concentra su dove appoggiare ogni piede sulle scale.

I risultati sono notevoli. Nella simulazione Visual AntMaze, un H-JEPA a tre livelli ha raggiunto un tasso di successo del 73%, contro il solo 18% di un modello a singolo livello ¹. L'approccio gerarchico ha inoltre offerto prestazioni migliori con un minor calcolo di pianificazione in molteplici compiti di simulazione.

Risolvere un problema classico dell'intelligenza artificiale

L'addestramento di world model gerarchici comporta un rischio ben noto, chiamato representation collapse, in cui il modello comprime tutti gli input in un vettore identico e, in sostanza, non impara nulla di utile. Per contrastare questo fenomeno, H-JEPA si basa su SIGReg, una tecnica precedentemente proposta dal team di LeCun in LeJEPA, che vincola la distribuzione delle rappresentazioni in modo che stati diversi restino distinguibili ³.

I livelli sono addestrati insieme end-to-end, collegati dai sotto-obiettivi: il livello alto predice uno stato futuro, il livello basso mappa quella previsione nello spazio di alto livello, la confronta con il sotto-obiettivo assegnato e regola le proprie azioni di conseguenza. È interessante notare che, negli esperimenti sul labirinto, i ricercatori hanno osservato come il livello alto abbia gradualmente smesso di seguire i dettagli a basso livello, come la postura delle gambe, concentrandosi invece sulla struttura rilevante per il compito dell'ambiente.

Perché l'open source conta

LeCun ha fatto dell'open source un principio fondante di AMI, e H-JEPA porta avanti questo impegno. I ricercatori possono scaricare direttamente codice e pesi e riprodurre gli esperimenti di pianificazione senza aver bisogno di accesso proprietario. Per un campo ancora dominato da ricerche chiuse di grandi laboratori, questa trasparenza è notevole.

Il paper elenca come autori Wancong Zhang, Basile Terver, Mike Rabbat, Yann LeCun e Randall Balestriero, indicando che si tratta di una collaborazione tra industria e accademia piuttosto che di un lavoro solitario di un singolo laboratorio.

Mentre la ricerca sui world model si sposta dalla teoria verso sistemi di pianificazione pratici, H-JEPA offre alla comunità il suo primo schema gerarchico open source su cui costruire.

I fatti principali

• H-JEPA raggiunge il 73% di successo in Visual AntMaze contro l'18% di un modello a singolo livello
• Codice completo e pesi pre-addestrati sono open-sourced su Hugging Face
• Il modello impila più livelli JEPA per la pianificazione a diverse scale temporali
• SIGReg è utilizzato per prevenire il representation collapse durante l'addestramento
• Co-autorato con ricercatori di NYU, INRIA Paris e Brown University

Fonti

1. H-JEPA: LeCun’s World Model Startup Unveils Groundbreaking Debut Results with Full Code and Weights Open-Sourced — eu.36kr.com
2. jepa-world-models/h-jepa · Hugging Face
3. LeCun's AMI debuts H-JEPA: hierarchical world… · AGI Hunt — agihunt.info