IAGenerado
EN · IT · ES

Stanford da a los modelos de IA congelados una memoria súper poderosa que solo necesita 16 tokens

Investigadores convirtieron toda una biblioteca de documentos en 16 señales diminutas para que una IA protegida pueda responder preguntas sin repensar todo cada vez.

Cómo funcionaStanford da a los modelos de IA congelados una memoria súper poderosa que solo necesita 16 tokensHerald of AI

Qué podrías hacer con ello

  • Una empresa podría dar a su IA bloqueada acceso a una biblioteca masiva de documentos sin ralentizarse ni aumentar costes cada vez que llega una pregunta 1.
  • Un investigador podría entrenar una extensión de memoria con miles de páginas una sola vez y luego reutilizarla con un modelo de lenguaje congelado para que nuevas preguntas nunca requieran reprocesar toda la colección 1.
  • Una negocio podría añadir documentos más nuevos a un depósito existente uno a uno sin verse obligado a re-codificar los documentos ya almacenados allí 1.

Cómo funciona: un atajo entre pregunta y biblioteca

Un modelo de lenguaje normalmente responde leyendo lo que tú le pegas delante —su "ventana de contexto". Pegar millones de palabras se vuelve más lento a medida que se agranda la pila. Otra opción, llamada Generación Aumentada con Recuperación (RAG), busca los fragmentos más relevantes y pega solo esos, pero puede pasar por alto pistas sutiles ocultas en otro lugar de la colección.

Memorilla toma un camino distinto. Piensa en ello como un bibliotecario que ya ha leído todos los libros de una vasta sucursal y luego sostiene una sola ficha indexando lo que sabe sobre cualquier tema en particular. Esa ficha está compuesta por 16 "tokens" aprendidos —señales numéricas diminutas— producidos cada vez que llega una nueva pregunta.

El sistema funciona en tres pasos. Primero, un modelo de embedding congelado llamado Qwen3-Embedding-4B convierte cada documento de la colección en números una sola vez; añadir documentos posteriores no obliga a los antiguos a ser re-codificados. Segundo, cuando llega una pregunta, 16 ranuras de memoria aprendidas exploran toda la tienda a través de capas de atención cruzada y extraen exactamente lo que parece útil. Tercero, esas ranuras se proyectan en el espacio de entrada del decodificador y se colocan delante de la pregunta para que el modelo congelado Qwen3-8B pueda leerlas junto con el propio prompt.

Solo el módulo de memoria entrena. Lleva 194 millones de parámetros, mientras que tanto el codificador como el decodificador permanecen completamente congelados durante todo el proceso. El entrenamiento ocurre en tres etapas: reconstrucción de paráfrasis de Wikipedia, una mezcla de diez conjuntos de datos de respuesta a preguntas y resumido, y luego ajuste fino en ocho benchmarks finales. La receta completa dura unas 19 horas en cuatro tarjetas gráficas H100 12.

Benchmarks: más rápido y más preciso en promedio, pero no perfecto

En ocho pruebas estándar, Memorilla publicó la puntuación media reportada más alta de 49,68, superando otras bases publicadas como xRAG en 41,92, LLMLingua-2 en 40,75 y Mem0 en 38,02 1. Lideró en cinco de las ocho medidas, incluyendo una precisión de PersonalizationV4 del 44,60 % frente al 27,92 % del prompting completo de contexto simple, y las mejores puntuaciones ROUGE-L en LaMP-4 y LaMP-7 .

En FactKG, una prueba de respuesta a preguntas factuales, Memorilla alcanzó el 84,33 % de precisión con solo 16 tokens, frente al 80,43 % cuando todos los documentos se pegaban directamente —usando 108 veces menos tokens de documento 1. La compresión alcanzó su pico en NarrativeQA, donde esos 16 tokens reemplazaron 67.385 tokens de documento, una reducción de 4.212 veces . Incluso como memoria de agentes, reducir a ocho tokens elevó a un agente Qwen3-4B TextWorld del 18,6 % al 24,2 % de éxito promedio .

No es impecable. En PubMedQA, que contiene solo resúmenes médicos de 324 tokens, Memorilla obtuvo el 59,00 % mientras LLMLingua-2 alcanzó el 69,00 %, porque apenas hay nada que comprimir 1. MemoRAG también la superó en PersonalizationV4 y ROUGE-L de NarrativeQA, aunque MemoRAG usó muchos más tokens de documento en esos casos .

Velocidad y cómo ejecutarlo tú mismo

En una sola GPU H100, responder con 512 documentos —unos 128.000 tokens— tomó a Memorilla 0,74 segundos, mientras que alimentar los mismos documentos directamente retrasó la respuesta de 0,75 segundos a 19,9 segundos, 27 veces más lento; el propio módulo de memoria añadió solo unos dos milisegundos 1. Una caché precomputada opcional reduce una pregunta a 8,1 milisegundos incluso con un millón de documentos en una GPU B200, aunque mantener esa caché con cuatro millones de documentos requiere 80 gigabytes de memoria .

El proyecto se distribuye bajo una licencia Apache 2.0 con código, recetas de entrenamiento y carpetas de puntos de control disponibles públicamente en Hugging Face bajo el nombre memorilla/Memorilla-Qwen3-8B, junto con un conjunto de datos PersonalizationV4 separado que cubre 149 usuarios sintéticos 12. Ejecutarlo requiere Linux, GPUs compatibles con CUDA, Python 3.11 y al menos una GPU de 80 gigabytes para arranques rápidos .

Esta historia informa sobre una tendencia únicamente para información. No es consejo ni aliento a hacer ninguna de estas cosas.

Los datos clave

  • Memorilla comprime miles de tokens de documento en solo 16 señales de tamaño fijo para un modelo de lenguaje congelado
  • El módulo de memoria de 194 millones de parámetros permanece ligero mientras codificador y decodificador permanecen congelados
  • Promedió 49,68 en ocho benchmarks en Qwen3-8B congelado, liderando todas las bases RAG-style probadas
  • En hardware H100, respondió desde 512 documentos en 0,74 segundos —27 veces más rápido que contexto completo a ese tamaño
  • Código, puntos de control y recetas de entrenamiento son públicos bajo Apache 2.0 en Hugging Face

Words to know

  • Modelo congelado (frozen model): un modelo de lenguaje cuyos pesos ya no se actualizan durante el entrenamiento; solo se usan para inferir o generar respuestas.
  • Tokens (tokens): unidades básicas de texto en las que se divide un lenguaje para que un modelo los procese; funcion类似 a palabras o fragmentos de palabras.
  • Ventana de contexto (context window): la cantidad máxima de texto que un modelo puede considerar al mismo tiempo al responder una pregunta.
  • Generación Aumentada con Recuperación o RAG (Retrieval-Augmented Generation): técnica que combina la recuperación de documentos relevantes con la generación de respuestas por parte de un modelo de lenguaje.
  • Embedding (incrustación): representación numérica de un texto que captura su significado para que un modelo pueda trabajar con ella.

Fuentes

  1. Stanford Research Open-Sources Memorilla, a Latent Memory Module for Frozen LLMs — marktechpost.com
  2. memorilla/Memorilla-Qwen3-8B · Hugging Face

Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes

Sigue leyendo