IAGenerado
EN · IT · ES

La cuantización ThinkBit de dos bits mantiene el razonamiento de la IA afilado mientras reduce los costos de inferencia 8 veces

Podría permitir que las aplicaciones de IA funcionen más rápido y de manera más económica en teléfonos sin perder su capacidad de razonar.

Cómo funcionaLa cuantización ThinkBit de dos bits mantiene el razonamiento de la IA afilado mientras reduce los costos de inferencia 8 vecesHerald of AI

Los modelos de IA de razonamiento pueden generar miles de palabras (tokens) por una sola respuesta. Eso los vuelve lentos y costosos porque tienen que mover grandes cantidades de datos. Guardar los pesos del modelo — los números que controlan cómo piensa — en dos bits en lugar del formato bfloat16 de dieciséis bits habitual podría hacer que la inferencia sea ocho veces más barata, según el artículo publicado el 26 de octubre.

El problema es que la mayoría de las técnicas de dos bits se prueban con preguntas sencillas de opción múltiple o con puntajes de perplexity, que miden qué tan bien un modelo predice la siguiente palabra. Esas pruebas dicen poco sobre si el modelo todavía puede resolver problemas difíciles de matemáticas o lógica. ThinkBit se creó específicamente para preservar ese poder de razonamiento.

Qué podrías hacer con ello

  • Los investigadores podrían comprimir modelos de lenguaje de razonamiento a almacenamiento de dos bits, lo que potencialmente reduciría los costos de inferencia aproximadamente ocho veces mientras se mantiene intacta la capacidad del modelo para resolver problemas difíciles de matemáticas y lógica 1.
  • Los desarrolladores de aplicaciones de IA podrían ejecutar modelos con capacidad de razonamiento más rápido y a menor costo en dispositivos cotidianos como teléfonos, ya que almacenar pesos en dos bits en lugar de en formato de dieciséis bits reduce drásticamente la demanda de memoria 1.
  • Un investigador podría evaluar un modelo comprimido en el benchmark MATH-500 para confirmar que el proceso de cuantización no destruyó su poder de razonamiento 1.

Una receta de tres pasos para un razonamiento afilado

ThinkBit trata cada peso como un pequeño entero codeword multiplicado por un scale de punto flotante compartido por un grupo de pesos cercanos. El marco primero asigna a cada capa de la red un nivel de bits: 2, 3 o una opción ternaria, según cuán sensible sea esa capa a la compresión. Esto significa que las capas importantes reciben un poco más de precisión.

Luego, el sistema busca los mejores codewords bloque por bloque usando un método llamado Gumbel-softmax. Como revisar cada capa de forma aislada puede pasar por alto cómo interactúan entre sí, el equipo luego recalibra las escalas manteniendo los codewords fijos. Este paso usa conocimiento por destilación: el modelo comprimido se entrena para imitar las distribuciones de salida del modelo maestro.

Finalmente, una etapa breve de entrenamiento cuantización-consciente (QAT) permite que el modelo reasigne codewords para ajustarse mejor a la distribución original. Para elegir el checkpoint final, los investigadores realizan una prueba de razonamiento emparejada con problemas del conjunto de entrenamiento y eligen la versión que mejor rinde: la recalibrada o la de QAT.

Las cifras que importan

When tested on the 1.7-billion-parameter Qwen3-1.7B model, the recalibrated checkpoint scored 46.7 on the MATH-500 benchmark (a set of 500 math problems), compared with 30.0 for another method called EfficientQAT trained on the same data. After the QAT step, the score jumped to 73.0.

At just 0.52 GB, ThinkBit’s compressed model is smaller than any published two-bit GGUF version of Qwen3-1.7B and still more accurate on MATH-500. The approach scales up: for a 14-billion-parameter model, a 3.74 GB checkpoint scored 94.8 on MATH-500, against 97.5 for the full 29.5 GB bfloat16 version.

Qué sigue

Los investigadores muestran que ThinkBit puede preservar el razonamiento mientras reduce drásticamente el uso de memoria. Si se adopta el método, podría hacer que la IA con capacidad de razonamiento sea más barata de ejecutar en portátiles, teléfonos y servidores en la nube. El artículo está disponible en Hugging Face y los autores son de Microsoft.

Esta nota informa sobre una tendencia con fines informativos. No es un consejo ni un estímulo para hacer nada de ello.

Qué tan buena es

On the 1.7-billion-parameter Qwen3 model, ThinkBit's recalibrated checkpoint scored 46.7 on the MATH-500 benchmark, compared with 30.0 for EfficientQAT trained on the same data 1. After a short quantization-aware training stage, the score rose to 73.0, and the model weighed just 0.52 GB, making it smaller than any published two-bit GGUF version of Qwen3-1.7B while still more accurate . The approach also scales up: on a 14-billion-parameter model, a 3.74 GB checkpoint scored 94.8 against 97.5 for the full 29.5 GB bfloat16 model, showing only a small drop in reasoning quality for a fraction of the size . The MATH-500 benchmark measures performance on 500 math problems, so higher scores indicate better problem-solving ability .

MATH-500 Scores for 1.7B Models
ThinkBit (QAT)73ThinkBit (recalibrated)46.7EfficientQAT30

number of math problems answered correctly out of 500. Más alto es mejor. Datos: Microsoft researchers. Gráfico de Herald of AI.

Los datos clave

  • ThinkBit reduce los modelos de IA a almacenamiento de dos bits, disminuyendo los costos de inferencia hasta 8×.
  • Preserva la capacidad de razonamiento, obteniendo 73,0 en MATH-500 para Qwen3-1.7B tras el entrenamiento cuantización-consciente.
  • El modelo comprimido es de 0,52 GB: menor que cualquier otra versión GGUF de dos bits del mismo modelo.
  • Para un modelo de 14B de parámetros, un checkpoint de 3,74 GB obtuvo 94,8 en MATH-500, cerca de la puntuación de precisión completa de 97,5.
  • El método utiliza asignación de bits por capa, búsqueda de codewords Gumbel-softmax y recalibración por destilación de conocimiento.

Fuentes

  1. Paper page - ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning

Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes

Sigue leyendo