Un nuovo motore permette ai modelli AI piccoli di rispondere in meno di 50 millisecondi

Cosa potresti farci

• Un'azienda di pagamenti potrebbe sostituire i suoi vecchi modelli per i controlli antifrode con un modello di AI generativa e continuare a ottenere risposte in meno di 50 millisecondi, mantenendo fluida l'esperienza utente ¹.
• Un sito e-commerce come Shopify potrebbe eseguire miglioramenti della ricerca in tempo reale sul traffico effettivo con inferenza sotto i 20 ms, offrendo agli acquirenti risultati più rapidi e intelligenti ¹.
• Una piattaforma adtech potrebbe riscrivere le query di ricerca degli utenti al volo all'interno di un budget di latenza di 50 ms, migliorando la pertinenza della pubblicità senza rallentare la pagina ¹.

Cosa fa effettivamente RIPL

La maggior parte degli strumenti di deployment AI come vLLM sono progettati per lavori lunghi e batchati — si pensi a chatbot o workflow agentic dove qualche secondo è accettabile. RIPL è progettato per l'opposto: ranking delle ricerche, controlli antifrode, autorizzazione dei pagamenti — percorsi in cui ogni millisecondo conta ¹.

Liquid AI afferma che i suoi LFM (Liquid Foundation Models) sono architetture ibride che mescolano blocchi convoluzionali con blocchi GQA (grouped-query attention). Il modello LFM2.5-1.2B ha 16 strati; il LFM2.5-2.6B ne ha 30 ¹. RIPL ottimizza il percorso completo dall'arrivo della richiesta alla risposta completata, non solo la velocità di inferenza .

Quanto è veloce?

Liquid ha eseguito benchmark su una singola GPU NVIDIA B200 ¹. Questi i numeri riportati dall'azienda:

| Elaborazione di 32 token di input in 32 token di output a circa 1.000 richieste al secondo: il modello 1.2B richiede 34,6 ms mentre il modello 0.8B richiede 498 ms, determinando un speedup di 14,4 volte. | Elaborazione di 256 token di input in 128 token di output a circa 400 richieste al secondo: il modello 1.2B richiede 155,8 ms rispetto a 4.431 ms per il modello 0.8B, uno speedup di 28,4 volte. | Elaborazione di 32 token di input in 32 token di output a circa 1.000 richieste al secondo: il modello 2.6B richiede 76,4 ms contro 586,8 ms per il modello 2B, uno speedup di 7,7 volte. | Elaborazione di 256 token di input in 128 token di output a circa 300 richieste al secondo: il modello 2.6B richiede 449,1 ms rispetto a 2.499 ms per il modello 2B, uno speedup di 5,6 volte.

Liquid afferma anche che utilizzando lo stesso modello LFM2.5-350M, RIPL supera vLLM — il che significa che il motore stesso aggiunge velocità, non solo l'architettura del modello ¹.

Casi d'uso reali

Liquid ha mappato diversi carichi di lavoro in tempo reale rispetto ai budget di latenza ¹:

• Riscrittura query adtech: 32 input, 32 output, budget di 50 ms
• Classificazione dell'intento di ricerca: 128 token di input, 1 token di output, budget di 20 ms.
• Punteggio del rischio nei pagamenti: 512 token di input, 16 token di output, budget di 50 ms.
• Decisioni di credito: 8.000 token di input, 64 token di output, budget di 150 ms.
• Testo alternativo immagine (LFM2.5-VL-450M): immagine 512×512, budget di 100 ms.

Chi lo sta usando?

Secondo Liquid AI, Shopify sta deploying LFMs in produzione. L'azienda afferma che il miglioramento della ricerca viene eseguito con inferenza sub-20 ms sul traffico effettivo, utilizzando circa il 50% in meno di parametri rispetto alle alternative e consegnando un'inferenza 2-10 volte più rapida ¹.

Liquid AI sottolinea che RIPL è esclusivamente enterprise e tutte le cifre sono auto-riferite ¹. I modelli LFM usano la licenza LFM Open License v1.0, mentre i baseline Qwen usano Apache 2.0 .

Quanto è bravo

Liquid AI riporta una latenza p95 5,6-28,4 volte inferiore rispetto a Qwen3.5 in esecuzione su vLLM, misurata su una singola GPU NVIDIA B200 ¹. Nella differenza più ampia, un modello 1.2B su RIPL ha richiesto 155,8 ms contro 4.431 ms per un modello 0.8B più piccolo su vLLM, una differenza di 28,4 volte . Anche quando si utilizza lo stesso modello LFM2.5-350M, RIPL ha superato vLLM, il che significa che il motore stesso aggiunge velocità oltre alla semplice progettazione del modello . Shopify sta già eseguendo LFMs in produzione per la ricerca con inferenza sub-20 ms sul traffico effettivo, secondo Liquid AI .

I fatti principali

• RIPL restituisce risposte in meno di 50 ms per richieste brevi su una singola NVIDIA B200
• Fino a 28,4× latenza p95 inferiore rispetto a Qwen3.5 su vLLM, secondo i benchmark di Liquid
• Shopify esegue reportedly inferenza di ricerca LFM a sub-20 ms sul traffico di produzione
• RIPL è enterprise-only; tutte le cifre dei benchmark sono auto-riferite da Liquid AI
• I modelli LFM2.5 vanno da 230M a 2,6B parametri e usano un design ibrido conv+GQA

Fonti

1. Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs — marktechpost.com