PeekKV un modo più intelligente per comprimere la memoria AI che migliora la velocità del contesto lungo
I ricercatori hanno scoperto che guardare un singolo token può decidere quali parti della memoria di un modello linguistico di grandi dimensioni sono importanti, riducendo i costi senza perdere precisione.
Il problema della memoria nelle conversazioni AI lunghe
Man mano che i modelli linguistici di grandi dimensioni gestiscono input sempre più lunghi, affrontano un collo di bottiglia crescente: la KV cache. Questa cache memorizza le informazioni di cui il modello ha bisogno per ricordare parti precedenti di una conversazione, ma le sue dimensioni crescono in modo lineare con la lunghezza del contesto, rendendola costosa per i servizi che eseguono questi modelli.1
Questo ha portato i ricercatori a cercare modi per comprimere la KV cache. Invece di mantenere tutto con la stessa importanza, alcuni metodi cercano di conservare solo le parti più utili e scartare il resto.
Perché i metodi esistenti faticano
I ricercatori dietro la nuova tecnica, Minyoung Go e Yongjun Park, hanno scoperto un motivo chiave per cui gli approcci attuali sono inconsistenti. Hanno rilevato che gli attention heads — le parti del modello che decidono a quali informazioni prestare attenzione — cambiano tra due fasi di elaborazione del testo da parte di un modello linguistico.
La prima fase, chiamata prefill, legge l'intero input in una sola volta. La seconda fase, chiamata decode, genera la risposta token per token. Sorprendentemente, anche all'interno di un singolo input, diversi heads diventano attivi tra queste due fasi.1
Tuttavia, hanno anche scoperto qualcosa di importante riguardo alla fase di decode. Una volta filtrati i format token — frammenti di testo che sono solo struttura come elenchi puntati o intestazioni di sezioni piuttosto che contenuto reale — l'insieme degli heads attivi è rimasto notevolmente stabile attraverso tutti i token di contenuto nella risposta.1
Il trucco del token singolo
Questa intuizione ha portato i ricercatori a sviluppare PeekKV, un metodo che non richiede profilatura offline né addestramento. Invece, funziona su qualsiasi modello o carico di lavoro immediatamente.
L'idea centrale è semplice ma potente: dopo il completamento della fase di prefill, PeekKV osserva un singolo token di contenuto. Questo singolo sguardo è sufficiente per capire quali gruppi di heads sono più importanti e quali token all'interno di ciascun gruppo hanno il peso maggiore.1
Utilizzando questi punteggi, il sistema distribuisce il proprio budget limitato di KV cache tra i gruppi di heads in proporzione alla loro importanza, e all'interno di ciascun gruppo mantiene solo i token con il punteggio più alto.1
Questo significa che PeekKV si adatta a qualsiasi input riceve, piuttosto che fare affidamento su assunzioni fisse riguardo a quali parti del modello saranno sempre importanti.
Risultati attraverso i benchmark
I ricercatori hanno testato PeekKV su quattro benchmark pubblici. Ha ottenuto la migliore precisione in oltre la metà dei confronti per modello rispetto ai metodi di compressione più avanzati.
Sul modello Llama-3.1-8B-Instruct in particolare, PeekKV ha mantenuto il 95,7% della precisione della cache completa utilizzando solo il 10% della memoria su RULER, un benchmark per il ragionamento su contesti lunghi di 16.000 token. Su LongBench, ha mantenuto il 95,9% della precisione totale con solo il 1,5% del budget di memoria.1
Il paper è stato inviato a arXiv nell'ottobre 2026 dai ricercatori Minyoung Go e Yongjun Park.
Questa storia segnala un trend solo a scopo informativo. Non costituisce consiglio né incoraggiamento a fare alcuna di queste azioni.
Correzioni e aggiornamenti
- Corrected on 23 October 2026. An earlier version included specific model names and phrasing not found in the source; the corrected versions align with the source's actual wording about PeekKV applying directly to unseen workloads and new models, and about LLMs facing KV cache bottlenecks without naming specific models.
I fatti principali
- PeekKV uses just one token after the prefill stage to determine which memory components matter most
- On Llama-3.1-8B-Instruct, it kept 95.7% accuracy at 10% memory budget on the RULER benchmark
- It retained 95.9% accuracy with only 1.5% memory on LongBench
- The method requires no offline profiling or training and applies directly to unseen workloads and new models
- Attention heads become active differently between prefill and decode stages within a single input