PeekKV: Una forma más inteligente de comprimir la memoria de la IA que acelera el manejo de contextos largos
Investigadores descubrieron que con un solo token se puede decidir qué partes de la memoria de un modelo lingüístico grande son importantes, reduciendo costos sin perder precisión.
El problema de la memoria en conversaciones largas con IA
A medida que los modelos lingüísticos grandes manejan entradas cada vez más largas, enfrentan un cuello de botella creciente: el KV cache. Este cache almacena la información que el modelo necesita recordar de etapas anteriores de una conversación, pero su tamaño crece de manera lineal con la longitud del contexto, lo que lo hace costoso para los servicios que ejecutan estos modelos.1
Esto ha llevado a los investigadores a buscar formas de comprimir el KV cache. En lugar de conservar todo por igual, algunos métodos intentan mantener solo las partes más útiles y descartar el resto.
Por qué los métodos existentes tienen dificultades
Los investigadores detrás de la nueva técnica, Minyoung Go y Yongjun Park, descubrieron una razón clave por la que los enfoques actuales son inconsistentes. Encontraron que los attention heads —las partes del modelo que deciden en qué información enfocarse— cambian entre dos etapas del procesamiento de texto en un modelo lingüístico.
La primera etapa, llamada prefill, lee toda la entrada de una vez. La segunda etapa, llamada decode, genera la respuesta token por token. Sorprendentemente, incluso dentro de una sola entrada, diferentes heads se activan entre estas dos etapas.1
Sin embargo, también encontraron algo importante sobre la etapa de decode. Una vez que filtraron los format tokens —bits de texto que son solo estructura como viñetas o encabezados de sección en lugar de contenido real—, el conjunto de heads activos permaneció notablemente estable en todos los content tokens de la respuesta.1
El truco del token único
Esta idea llevó a los investigadores a desarrollar PeekKV, un método que no requiere perfilado ni entrenamiento previo. En cambio, funciona en cualquier modelo o carga de trabajo de inmediato.
La idea central es simple pero poderosa: después de que termina la etapa de prefill, PeekKV observa un solo content token. Este vistazo de un solo token es suficiente para determinar qué grupos de heads son más importantes y qué tokens dentro de cada grupo tienen mayor peso.1
Usando estas puntuaciones, el sistema distribuye su limitado presupuesto de KV cache entre los grupos de heads proporcionalmente a su importancia, y dentro de cada grupo conserva solo los tokens con mayor puntuación.1
Esto significa que PeekKV se adapta a cualquier entrada que reciba, en lugar de depender de suposiciones fijas sobre qué partes del modelo siempre serán importantes.
Resultados en benchmarks
Los investigadores probaron PeekKV en cuatro benchmarks públicos. Obtuvo la mejor precisión en más de la mitad de las comparaciones por modelo frente a métodos de compresión de última generación.
En Llama-3.1-8B-Instruct específicamente, PeekKV retuvo el 95,7 % de la precisión del cache completo mientras usaba solo el 10 % de la memoria en RULER, un benchmark para razonamiento sobre contextos largos de 16.000 tokens. En LongBench, mantuvo el 95,9 % de la precisión total con solo el 1,5 % del presupuesto de memoria.1
El artículo fue enviado a arXiv en octubre de 2026 por los investigadores Minyoung Go y Yongjun Park.
Esta historia informa sobre una tendencia solo con fines informativos. No es un consejo ni un aliento a hacer ninguna de esas cosas.
Correcciones y actualizaciones
- Corrected on 23 October 2026. An earlier version included specific model names and phrasing not found in the source; the corrected versions align with the source's actual wording about PeekKV applying directly to unseen workloads and new models, and about LLMs facing KV cache bottlenecks without naming specific models.
Los datos clave
- PeekKV uses just one token after the prefill stage to determine which memory components matter most
- On Llama-3.1-8B-Instruct, it kept 95.7% accuracy at 10% memory budget on the RULER benchmark
- It retained 95.9% accuracy with only 1.5% memory on LongBench
- The method requires no offline profiling or training and applies directly to unseen workloads and new models
- Attention heads become active differently between prefill and decode stages within a single input
{"title": "the headline", "summary": "the standfirst", "caption": "the picture caption, or empty", "body": "the story, in Markdown"}