Perplexity lanza dos modelos de embeddings multimodales para edge y cloud

Perplexity AI ha lanzado pplx-embed-v2-late, un par de modelos de embeddings multimodales estilo ColBERT diseñados tanto para dispositivos edge como para indexación de alta calidad. Los modelos vienen en tamaños de 0,6 mil millones y 9 mil millones de parámetros, cada uno optimizado para diferentes etapas de una tubería de recuperación.

Dos modelos para distintos usos

El modelo de 0,6B está diseñado para consultas en vivo en dispositivos edge como portátiles o GPUs pequeñas, usando solo unos 1,2 GB de memoria. El modelo de 9B (listado como 8B en Hugging Face) sirve como constructor del índice de documentos, requiriendo 16–18 GB de memoria GPU. Ambos modelos comparten un espacio de embeddings unificado, lo que significa que un índice de 9B puede consultarse con el codificador de 0,6B sin perder compatibilidad.

Ambos modelos están disponibles bajo una licencia MIT, que permite uso comercial. Está previsto un endpoint de API alojado pero aún no está activo.

Resultados destacados

En el benchmark MADQA (respuesta a preguntas agéntica en PDFs), el modelo de 9B obtiene una precisión del 92,4%, superando a competidores como el recuperador de Mixedbread (88,9%) ¹. El modelo de 0,6B alcanza el 90,1% en la misma tarea.

En recuperación de texto por dominio en 72 tareas, el modelo de 9B lidera todos los modelos evaluados con un nDCG@10 de 81,3%, mientras que el modelo de 0,6B solo se retrasa 0,3 puntos por detrás de Gemini Embedding 2.

En recuperación de imágenes hay una brecha: el modelo EVIE de Tencent obtiene puntuaciones más altas en ViDoRe v3, pero el modelo de 0,6B aún ocupa el segundo puesto con 62,3% de nDCG@10.

Una ventaja clave es la combinación de tamaños: consultar un índice de 9B con el codificador de 0,6B recupera aproximadamente la mitad de la brecha de calidad al costo de consulta de 0,6B, lo que lo hace eficiente para aplicaciones sensibles a la latencia.

Detalles técnicos

Ambos modelos usan vectores de tokens de 128 dimensiones —16× a 32× más estrechos que los rivales típicos de 2.048 a 4.096 dimensiones—, lo que reduce el almacenamiento y acelera las búsquedas de similitud.

Están destilados de un modelo maestro más grande de 18B mediante entrenamiento a nivel de token estilo LEAF, que crea el espacio de embeddings compartido. Las páginas se codifican como imágenes, eliminando la necesidad de OCR.

La base de 0,6B es un modelo Qwen3.5-0.8B podado, mientras que la versión de 9B probablemente se basa en una arquitectura similar. Ambos requieren sentence-transformers >= 6.0.0 y transformers >= 5.4.0.

Una limitación es que una única entrada no puede mezclar texto e imágenes; deben procesarse por separado.

Mejores casos de uso

Los modelos destacan en búsqueda visual de documentos sobre PDFs, diapositivas e informes escaneados, especialmente en sistemas RAG agénticos que manejan grandes colecciones web o de PDFs.

La variante de 0,6B compatible con edge permite búsqueda de baja latencia donde el índice reside en la nube y las consultas se ejecutan localmente. Este enfoque híbrido equilibra costo, velocidad y calidad.

Todas las puntuaciones son autodeclaradas; se espera un informe técnico más adelante. Los investigadores pueden experimentar con los pesos ahora en Hugging Face.

Los datos clave

• Modelo de 9B obtiene 92,4% en benchmark MADQA
• Modelo de 0,6B usa ~1,2 GB de memoria, cabe en portátiles
• Licencia MIT permite uso comercial
• Vectores de 128 dimensiones son 16-32× más estrechos que rivales

Fuentes

1. Perplexity AI Releases pplx-embed-v2-late: A 0.6B Edge Model and a 9B Model Scoring 92.4% on MADQA — marktechpost.com