Perplexity lancia due modelli di embedding multimodali per edge e cloud

Perplexity AI ha rilasciato pplx-embed-v2-late, una coppia di modelli di embedding multimodali in stile ColBERT progettati sia per dispositivi edge che per indicizzazione di alta qualità. I modelli sono disponibili nelle dimensioni da 0,6 miliardi e 9 miliardi di parametri, ciascuno ottimizzato per fasi diverse della pipeline di recupero.

Due modelli per diversi casi d'uso

Il modello da 0,6B è pensato per query in tempo reale su dispositivi edge come laptop o piccole GPU, utilizzando solo circa 1,2 GB di memoria. Il modello da 9B (listato come 8B su Hugging Face) funge da costruttore di indici dei documenti, richiedendo 16–18 GB di memoria GPU. Entrambi i modelli condividono uno spazio di embedding unificato, il che significa che un indice da 9B può essere interrogato con un encoder da 0,6B senza perdere compatibilità.

Entrambi i modelli sono disponibili con licenza MIT, che ne permette l'uso commerciale. Un endpoint API ospitato è in programma ma non ancora attivo.

Prestazioni

Sul benchmark MADQA (agentic PDF question-answering), il modello da 9B ottiene il 92,4% di accuratezza, superando concorrenti come il recuperatore di Mixedbread (88,9%) ¹. Il modello da 0,6B raggiunge il 90,1% sulla stessa attività.

Nel retrieval testuale settoriale su 72 compiti, il modello da 9B guida tutti i modelli testati con un nDCG@10 di 81,3%, mentre il modello da 0,6B segue solo Gemini Embedding 2 di 0,3 punti.

Nel retrieval di immagini c'è un divario: il modello EVIE di Tencent fa meglio su ViDoRe v3, ma il modello da 0,6B si colloca comunque al secondo posto con 62,3% nDCG@10.

Un vantaggio chiave è il mixare le dimensioni: interrogare un indice da 9B con un encoder da 0,6B recupera circa metà del gap di qualità al costo di query da 0,6B, rendendolo efficiente per applicazioni sensibili alla latenza.

Dettagli tecnici

Entrambi i modelli usano vettori di token a 128 dimensioni, da 16× a 32× più compatti rispetto ai rivali tipici da 2.048 a 4.096 dimensioni, il che riduce lo storage e accelera le ricerche di similarità.

Sono distillati da un più grande teacher model da 18B usando training a livello di token in stile LEAF, che crea lo spazio di embedding condiviso. Le pagine vengono codificate come immagini, eliminando la necessità di OCR.

Il base da 0,6B è un modello Qwen3.5-0.8B diradato, mentre la versione da 9B probabilmente si basa su un'architettura simile. Entrambi richiedono sentence-transformers >= 6.0.0 e transformers >= 5.4.0.

Una limitazione è che un singolo input non può miscelare testo e immagini; devono essere elaborati separatamente.

Casi d'uso migliori

I modelli eccellono nella ricerca visiva di documenti su PDF, presentazioni e rapporti scansionati, specialmente in sistemi agentic RAG che gestiscono grandi collezioni web o PDF.

La variante da 0,6B progettata per l'edge consente ricerca a bassa latenza dove l'indice risiede nel cloud e le query vengono eseguite localmente. Questo approccio ibrido bilancia costi, velocità e qualità.

Tutti i punteggi sono autosegnalati; un report tecnico è atteso più avanti. I ricercatori possono sperimentare con i pesi ora su Hugging Face.

I fatti principali

• Il modello da 9B ottiene il 92,4% sul benchmark MADQA
• Il modello da 0,6B usa ~1,2 GB di memoria, si adatta ai portatili
• Licenza MIT permette uso commerciale
• Vettori a 128 dimensioni sono da 16 a 32× più compatti rispetto ai rivali

Fonti

1. Perplexity AI Releases pplx-embed-v2-late: A 0.6B Edge Model and a 9B Model Scoring 92.4% on MADQA — marktechpost.com