La startup de LeCun presenta H-JEPA: un modelo jerárquico del mundo para planificación visual

Un primer resultado de la startup de LeCun

AMI (Advanced Machine Intelligence), la startup de modelos del mundo de Yann LeCun, ha publicado su artículo de investigación debut. El artículo introduce H-JEPA, un modelo jerárquico del mundo para planificación visual, coautorado junto con investigadores de la Universidad de Nueva York, INRIA París y la Universidad Brown. Junto con el artículo, el equipo ha publicado en Hugging Face el código completo y los pesos del modelo preentrenado.

La idea se gestó desde que LeCun propuso por primera vez JEPA jerárquica (Arquitectura Predictiva de Incrustación Conjunta) en 2022 durante su etapa en Meta. La idea central es sencilla: en lugar de pedirle a un solo modelo plano que se encargue de todo, desde los objetivos generales hasta los mínimos movimientos físicos, se apilan múltiples capas, cada una responsable de una escala de tiempo diferente.

Cómo funciona la jerarquía para la planificación

En H-JEPA, cada capa tiene su propio codificador de estado, codificador de acción y predictor. La capa más baja lee imágenes en bruto; las capas superiores abstrae más, conservando solo la información relevante a su escala de tiempo. Al planificar, la capa superior formula un plan amplio a largo plazo y envía hacia abajo un estado intermedio previsto como subobjetivo. Las capas inferiores refinan luego ese subobjetivo en acciones realmente ejecutables.

Esta división del trabajo refleja cómo los humanos planifican un viaje: primero decides el destino y el vuelo, después averiguas qué taxi tomar y, por último, te centras en dónde colocar cada pie en las escaleras.

Los resultados son llamativos. En la tarea de simulación Visual AntMaze, un H-JEPA de tres capas logró un 73 por ciento de tasa de éxito, frente al 18 por ciento de un modelo de una sola capa ¹. El enfoque jerárquico también ofreció un mejor rendimiento con menor costo computacional de planificación en múltiples tareas de simulación.

Resolver un problema clásico de la inteligencia artificial

Entrenar modelos del mundo jerárquicos conlleva un riesgo bien conocido llamado colapso de representación, donde el modelo comprime todas las entradas en un vector idéntico y, en realidad, no aprende nada útil. Para contrarrestarlo, H-JEPA se basa en SIGReg, una técnica propuesta anteriormente por el equipo de LeCun en LeJEPA, que restringe cómo se distribuyen las representaciones para que distintos estados permanezcan distinguibles ³.

Las capas se entrenan juntas de principio a fin, conectadas por esos subobjetivos: la capa alta predice un estado futuro, la capa baja proyecta esa predicción al espacio de alto nivel, la compara con el subobjetivo asignado y ajusta sus acciones en consecuencia. Curiosamente, en los experimentos del laberinto los investigadores observaron que la capa alta dejaba progresivamente de rastrear detalles de bajo nivel como la postura de las patas, concentrándose en su lugar en la estructura relevante para la tarea del entorno.

Por qué importa que sea de código abierto

LeCun hizo de la apertura un principio fundacional de AMI, y H-JEPA da cumplimiento a ese compromiso. Los investigadores pueden descargar el código y los pesos directamente y reproducir los experimentos de planificación sin necesidad de acceso propietario. En un campo aún dominado por investigaciones cerradas de grandes laboratorios, esa transparencia resulta notable.

El artículo enumera a los autores Wancong Zhang, Basile Terver, Mike Rabbat, Yann LeCun y Randall Balestriero, lo que indica que se trata de una colaboración entre industria y academia, no de un esfuerzo aislado de un solo laboratorio.

A medida que la investigación sobre modelos del mundo avanza desde la teoría hacia sistemas prácticos de planificación, H-JEPA brinda a la comunidad su primer plan jerárquico abierto sobre el cual construir.

Los datos clave

• H-JEPA logra 73% de éxito en Visual AntMaze vs 18% para un modelo de una sola capa
• El código completo y los pesos preentrenados están disponibles en Hugging Face
• El modelo apila múltiples capas de JEPA para planificar a diferentes escalas de tiempo
• Se utiliza SIGReg para evitar el colapso de representación durante el entrenamiento
• Coautorado con investigadores de NYU, INRIA París y Brown University

Fuentes

1. H-JEPA: LeCun’s World Model Startup Unveils Groundbreaking Debut Results with Full Code and Weights Open-Sourced — eu.36kr.com
2. jepa-world-models/h-jepa · Hugging Face
3. LeCun's AMI debuts H-JEPA: hierarchical world… · AGI Hunt — agihunt.info