La cuantización ThinkBit de dos bits mantiene el razonamiento de la IA afilado mientras reduce los costos de inferencia 8 veces
Podría permitir que las aplicaciones de IA funcionen más rápido y de manera más económica en teléfonos sin perder su capacidad de razonar.
Los modelos de IA de razonamiento pueden generar miles de palabras (tokens) por una sola respuesta. Eso los vuelve lentos y costosos porque tienen que mover grandes cantidades de datos. Guardar los pesos del modelo — los números que controlan cómo piensa — en dos bits en lugar del formato bfloat16 de dieciséis bits habitual podría hacer que la inferencia sea ocho veces más barata, según el artículo publicado el 26 de octubre.
El problema es que la mayoría de las técnicas de dos bits se prueban con preguntas sencillas de opción múltiple o con puntajes de perplexity, que miden qué tan bien un modelo predice la siguiente palabra. Esas pruebas dicen poco sobre si el modelo todavía puede resolver problemas difíciles de matemáticas o lógica. ThinkBit se creó específicamente para preservar ese poder de razonamiento.
Qué podrías hacer con ello
- Los investigadores podrían comprimir modelos de lenguaje de razonamiento a almacenamiento de dos bits, lo que potencialmente reduciría los costos de inferencia aproximadamente ocho veces mientras se mantiene intacta la capacidad del modelo para resolver problemas difíciles de matemáticas y lógica 1.
- Los desarrolladores de aplicaciones de IA podrían ejecutar modelos con capacidad de razonamiento más rápido y a menor costo en dispositivos cotidianos como teléfonos, ya que almacenar pesos en dos bits en lugar de en formato de dieciséis bits reduce drásticamente la demanda de memoria 1.
- Un investigador podría evaluar un modelo comprimido en el benchmark MATH-500 para confirmar que el proceso de cuantización no destruyó su poder de razonamiento 1.
Una receta de tres pasos para un razonamiento afilado
ThinkBit trata cada peso como un pequeño entero codeword multiplicado por un scale de punto flotante compartido por un grupo de pesos cercanos. El marco primero asigna a cada capa de la red un nivel de bits: 2, 3 o una opción ternaria, según cuán sensible sea esa capa a la compresión. Esto significa que las capas importantes reciben un poco más de precisión.
Luego, el sistema busca los mejores codewords bloque por bloque usando un método llamado Gumbel-softmax. Como revisar cada capa de forma aislada puede pasar por alto cómo interactúan entre sí, el equipo luego recalibra las escalas manteniendo los codewords fijos. Este paso usa conocimiento por destilación: el modelo comprimido se entrena para imitar las distribuciones de salida del modelo maestro.
Finalmente, una etapa breve de entrenamiento cuantización-consciente (QAT) permite que el modelo reasigne codewords para ajustarse mejor a la distribución original. Para elegir el checkpoint final, los investigadores realizan una prueba de razonamiento emparejada con problemas del conjunto de entrenamiento y eligen la versión que mejor rinde: la recalibrada o la de QAT.
Las cifras que importan
When tested on the 1.7-billion-parameter Qwen3-1.7B model, the recalibrated checkpoint scored 46.7 on the MATH-500 benchmark (a set of 500 math problems), compared with 30.0 for another method called EfficientQAT trained on the same data. After the QAT step, the score jumped to 73.0.
At just 0.52 GB, ThinkBit’s compressed model is smaller than any published two-bit GGUF version of Qwen3-1.7B and still more accurate on MATH-500. The approach scales up: for a 14-billion-parameter model, a 3.74 GB checkpoint scored 94.8 on MATH-500, against 97.5 for the full 29.5 GB bfloat16 version.
Qué sigue
Los investigadores muestran que ThinkBit puede preservar el razonamiento mientras reduce drásticamente el uso de memoria. Si se adopta el método, podría hacer que la IA con capacidad de razonamiento sea más barata de ejecutar en portátiles, teléfonos y servidores en la nube. El artículo está disponible en Hugging Face y los autores son de Microsoft.
Esta nota informa sobre una tendencia con fines informativos. No es un consejo ni un estímulo para hacer nada de ello.
Qué tan buena es
On the 1.7-billion-parameter Qwen3 model, ThinkBit's recalibrated checkpoint scored 46.7 on the MATH-500 benchmark, compared with 30.0 for EfficientQAT trained on the same data 1. After a short quantization-aware training stage, the score rose to 73.0, and the model weighed just 0.52 GB, making it smaller than any published two-bit GGUF version of Qwen3-1.7B while still more accurate . The approach also scales up: on a 14-billion-parameter model, a 3.74 GB checkpoint scored 94.8 against 97.5 for the full 29.5 GB bfloat16 model, showing only a small drop in reasoning quality for a fraction of the size . The MATH-500 benchmark measures performance on 500 math problems, so higher scores indicate better problem-solving ability .
number of math problems answered correctly out of 500. Más alto es mejor. Datos: Microsoft researchers. Gráfico de Herald of AI.
Los datos clave
- ThinkBit reduce los modelos de IA a almacenamiento de dos bits, disminuyendo los costos de inferencia hasta 8×.
- Preserva la capacidad de razonamiento, obteniendo 73,0 en MATH-500 para Qwen3-1.7B tras el entrenamiento cuantización-consciente.
- El modelo comprimido es de 0,52 GB: menor que cualquier otra versión GGUF de dos bits del mismo modelo.
- Para un modelo de 14B de parámetros, un checkpoint de 3,74 GB obtuvo 94,8 en MATH-500, cerca de la puntuación de precisión completa de 97,5.
- El método utiliza asignación de bits por capa, búsqueda de codewords Gumbel-softmax y recalibración por destilación de conocimiento.
Fuentes
Si esta noticia te afecta a ti o a tu empresa, o usa algo que te pertenece, pide una corrección o que se retire. Cómo funcionan las solicitudes
Sigue leyendo
Nuevos modelosMicrosoft lanza Decision-1, un modelo rápido de IA que puntúa respuestas en lugar de escribirlasHerald of AI
Microsoft lanza Decision-1, un modelo rápido de IA que puntúa respuestas en lugar de escribirlas
El nuevo modelo ayuda al software a tomar decisiones rápidas —como asignar un ticket de soporte o comprobar si el contenido es seguro—, mientras que con los chatbots convencionales lo hace a una fracción de su velocidad y coste.
Cómo funcionaQwen3-1.7B mapea miles de conversaciones en barrios visualesHerald of AI
Qwen3-1.7B mapea miles de conversaciones en barrios visuales
Un nuevo atlas interactivo revela cómo se ve el mismo tema de forma distinta dentro del modelo según el idioma que se utilice.
Apps y productosUn error en Java hallado por una IA podría permitir a los hackers tomar el control de ordenadores de bancos y hospitalesHerald of AI
Un error en Java hallado por una IA podría permitir a los hackers tomar el control de ordenadores de bancos y hospitales
Una falla en el ampliamente utilizado lenguaje de programación Java permite que alguien obtenga el control total de las máquinas vulnerables.