El modelo comprimido de 27B supera a la versión completa en uso de herramientas con menos de 8 GB

Un nuevo modelo abierto, pequeño pero contundente, está llamando la atención en el ámbito de la IA local. Underdog, el proyecto de asistente para dispositivos locales de Conway Research, ha publicado Saluki 27B bajo la licencia Apache 2.0 ¹. El modelo toma Qwen3.8-27B, un modelo de lenguaje denso de 27 mil millones de parámetros, y lo reduce a solo 7,89 GB, en comparación con los 54 GB del original . Eso es aproximadamente una reducción de siete veces el tamaño.

Lo que hace especial a esta compresión no es solo el pequeño tamaño del archivo. Underdog ajustó la cuantización específicamente para proteger el uso de herramientas, la capacidad que convierte un modelo de chat común en un agente de IA que puede usar herramientas externas ³. Para los desarrolladores que quieren ejecutar un agente capaz de forma local sin una GPU de data center, eso es importante ⁴.

How It Works

El modelo combina tres capas de trabajo. Primero viene la base: Qwen3.8-27B del equipo de Qwen3, un modelo de 64 capas que mezcla dos tipos de atención y admite 262.144 tokens de forma nativa ³. Segundo, la cuantización GSQ-RCO de ISTA-DASLab, que aprende valores precisos de pocos bits para cada parte del modelo y asigna el mejor tipo de compresión a cada capa dentro de un presupuesto estricto de tamaño . La versión más pequeña de ISTA para este modelo ocupaba 8,4 GB ².

Underdog luego añadió su propio paso de ajuste por encima, reduciendo el archivo a 7,89 GB y apuntando específicamente al rendimiento en uso de herramientas. El archivo resultante se llama IQ2-mix y tiene una etiqueta imatrix ³. La empresa no ha publicado la receta completa para este paso final ¹.

Benchmarks: Tool Calling Shines, Math Takes a Hit

Underdog probó Saluki 27B contra el modelo de tamaño completo usando el mismo conjunto de pruebas ². En Underdog Bench, con 120 tareas extraídas del Berkeley Function Calling Leaderboard v4, Saluki obtuvo 88, superando levemente los 84 del modelo completo ³. La diferencia fue aún mayor en llamadas paralelas a herramientas: Saluki obtuvo 42 frente a los 35 del modelo completo, una tasa de retención del 120 por ciento .

En el examen de codificación SWE-bench Verified, el modelo completo se adelantó, resolviendo 33 de 50 problemas frente a los 30 de Saluki ³. Y los compromisos se notan claramente en matemáticas. En AIME 2025, Saluki obtuvo 79,2 frente a los 96,7 del modelo completo, una caída de aproximadamente 17 puntos ². A través de nueve benchmarks, el modelo comprimido retuvo alrededor del 96 por ciento del rendimiento del original en promedio ¹.

Running It Locally

Una de las mayores ventajas de Saluki 27B es la compatibilidad. Funciona en llama.cpp estándar, el entorno de código abierto ampliamente utilizado, con soporte completo para descarga a GPU ¹. Eso significa que cualquiera que ya pueda ejecutar modelos locales puede usarlo, sin necesidad de bifurcaciones personalizadas ni compilaciones especiales ⁴. Hay un complemento de visión opcional disponible en dos tamaños: 629 MB o 928 MB, dependiendo de si se quiere agregar comprensión de imágenes ².

El modelo está disponible en Hugging Face y en la página de lanzamiento de Underdog, publicado bajo Apache 2.0 para que cualquiera pueda usarlo, modificarlo y distribuirlo libremente ¹. Una publicación de la cuenta de Underdog AI en X destacó la reducción de tamaño de 7x y la victoria en uso de herramientas, calificándolo como el mejor modelo por debajo de 8 GB que funciona en el asistente Underdog ⁵.

Para los desarrolladores que crean agentes de IA locales y no pueden permitirse una descarga de 54 GB, Saluki 27B ofrece un intercambio atractivo: una huella pequeña con habilidades de agente más sólidas de lo esperado y una ruta directa para ejecutarlo en hardware de consumo.

Los datos clave

• Tamaño de archivo de 7,89 GB, frente a los 54 GB del modelo completo
• Supera al original en uso de herramientas: 88 frente a 84 en Underdog Bench
• Puntuación en llamadas paralelas a herramientas de 42, frente a los 35 del modelo completo
• Funciona en llama.cpp estándar sin requerir bifurcación personalizada
• Publicado bajo Apache 2.0 por Underdog / Conway Research

Seen on social

Today we're releasing Underdog Saluki 27B Based on Qwen 3.8 27B, Saluki is almost 7x smaller than its full-precision counterpart while it keeps 96% of its benchmark performance and beats Qwen at tool calling It's the best model <8GB that runs in Underdog Saluki is available… pic.twitter.com/NNmNpjNW3r

— Underdog AI on X, see the post

Fuentes

1. Meet the Underdog Saluki 27B: A 2-bit Qwen3.8-27B That Beats the Original at Tool Calling — marktechpost.com
2. Meet the Underdog Saluki 27B: A 2-bit Qwen3.8-27B That Beats the ... — syncai.news
3. Meet the Underdog Saluki 27B: A 2-bit Qwen3.8-27B That Beats the ... — oo.news
4. Run Underdog Saluki 27B Locally with Llama.cpp: Full Setup Guide — mindstudio.ai
5. Saluki 27B: 2-Bit Qwen Model Beats Original at Tool Calling — aidailypost.com