HRoPE otorga a los modelos de visión por IA una mejor noción del espacio 3D
Un nuevo método ayuda a la IA multi-vista a entender superficies del mundo real en lugar de simplemente hacia dónde apuntan las cámaras.
Una mirada fresca sobre el posicionamiento 3D
HRoPE (Homography Relative Positional Encoding) es una técnica nueva publicada el 20 de octubre de 2026 que mejora la forma en que los modelos de IA comprenden el espacio tridimensional a partir de varias imágenes de cámaras. Investigadores, entre ellos Huachen Gao, Yang Yang y colegas, presentaron el método para resolver una limitación en cómo los transformadores multi-vista manejan la información espacial.
Los transformadores multi-vista son un tipo de red neuronal capaz de generar nuevas vistas de una escena a partir de un conjunto de fotografías existentes. Funcionan comparando fragmentos de imagen entre diferentes puntos de vista, pero hacerlo de manera efectiva requiere que el modelo comprenda la geometría 3D de la escena. Ahí es donde entra el codificador posicional.
Más allá de los diseños centrados en el sensor
Los enfoques actuales de codificación posicional geométrica dependen de información de nivel de cámara. Relacionan la información entre vistas basándose en la geometría del sensor, como hacia dónde apunta el frustum de una cámara o los valores de profundidad a lo largo de los rayos de luz. Estos métodos describen desde dónde se observa un token (un pequeño fragmento de imagen), pero no capturan la geometría superficial de la escena física en sí. Como señala el artículo, esto deja una brecha en la comprensión de las superficies reales representadas por cada token.
HRoPE aborda esto representando la geometría local de cada fragmento como un plano 3D inclinado. Este enfoque sigue la suposición de ventana de soporte inclinada utilizada en la estereoscopía multi-vista clásica, una técnica bien establecida para reconstruir formas 3D a partir de varias fotografías. En lugar de anclar los tokens solo en la posición del sensor, HRoPE los conecta a las superficies físicas de la escena.
Las homografías como transformaciones relativas
La innovación principal es la inyección de homografías inducidas por planos en el mecanismo de atención del transformador. Una homografía es una transformación matemática que relaciona puntos entre dos vistas de una superficie plana, corrigiendo eficazmente las distorsiones de perspectiva. Al tratar estas homografías como transformaciones relativas entre tokens, el modelo adquiere una priorización geométrica para alinear características entre diferentes puntos de vista.
Esto significa que el transformador puede rectificar las diferencias de perspectiva y emparejar mejor las regiones correspondientes entre imágenes, incluso cuando están tomadas desde ángulos muy distintos. El método no requiere datos de geometría de referencia. Los parámetros del plano pueden predecirse de extremo a extremo usando solo un objetivo de síntesis de vistas, o pueden derivarse de modelos fundacionales si están disponibles.
Resultados comprobados
Los investigadores evaluaron HRoPE en tres conjuntos de datos de referencia: RealEstate10K, CO3Dv2 y DL3DV. Su variante más exitosa superó consistentemente a otras codificaciones posicionales geométricas evaluadas para síntesis de vistas nuevas, que es la tarea de generar imágenes fotorrealistas de una escena desde puntos de vista que no estaban presentes en las fotografías originales.
Una página dedicada del proyecto alberga resultados adicionales y visualizaciones en gaohchen.github.io/HRoPE, y el código está disponible en GitHub bajo Inception3D/HRoPE.
Este artículo informa sobre una tendencia con fines informativos. No constituye asesoramiento ni recomendación para hacer nada de esto.
Los datos clave
- HRoPE representa cada fragmento de imagen como un plano 3D inclinado para capturar la geometría superficial
- Las homografías inducidas por planos se inyectan en la atención como transformaciones relativas para la alineación entre vistas
- No se requiere geometría de referencia; los parámetros del plano pueden aprenderse de extremo a extremo
- - La mejor variante de HRoPE supera a las codificaciones posicionales geométricas evaluadas en RealEstate10K, CO3Dv2 y DL3DV
- Publicado el 20 de octubre de 2026 por Huachen Gao y colegas
Fuentes
Cada dato de esta noticia viene de la fuente de arriba.