Modello compresso da 27B batte versione completa nel tool calling in meno di 8 GB

Un nuovo modello open-weight piccolo ma potente sta attirando l'attenzione nel settore dell'IA locale. Underdog, il progetto di assistente su dispositivo di Conway Research, ha rilasciato Saluki 27B con licenza Apache 2.0 ¹. Il modello prende Qwen3.8-27B — un modello linguistico denso da 27 miliardi di parametri — e lo comprime fino a soli 7,89 GB, rispetto ai 54 GB dell'originale . È circa una riduzione di sette volte delle dimensioni.

Ciò che rende speciale questa compressione non è solo la piccola dimensione del file. Underdog ha sintonizzato la quantizzazione specificamente per proteggere il tool calling, la capacità che trasforma un modello di chat semplice in un agente IA che può utilizzare strumenti esterni ³. Per gli sviluppatori che vogliono eseguire un agente capace localmente senza una GPU data-center, questo è un grande passo avanti ⁴.

Come Funziona

Il modello impila tre livelli di lavoro. Prima viene la base: Qwen3.8-27B dal team Qwen3, un modello a 64 layer che mescola due tipi di attention e supporta nativamente 262.144 token ³. Secondo c'è la quantizzazione GSQ-RCO di ISTA-DASLab, che apprende valori accurati a bassa precisione per ogni parte del modello e assegna il miglior tipo di compressione a ogni layer entro un budget di dimensioni rigoroso . La versione più piccola di ISTA per questo modello era di 8,4 GB ².

Underdog ha poi aggiunto il proprio passaggio di sintonizzazione, riducendo il file a 7,89 GB e mirando specificamente alle prestazioni di tool-calling. Il file risultante si chiama IQ2-mix e porta un tag imatrix ³. L'azienda non ha pubblicato la ricetta completa per questo passaggio finale ¹.

Benchmark: Il Tool Calling Brillante, la Matematica Subisce un Colpo

Underdog ha testato Saluki 27B contro il modello full-size usando lo stesso harness di benchmark ². Su Underdog Bench — 120 compiti tratti dal Berkeley Function Calling Leaderboard v4 — Saluki ha segnato 88, superando i 84 del modello completo ³. Il divario era ancora più ampio sulle chiamate di tool parallele: Saluki ha segnato 42 contro i 35 del modello completo, un tasso di ritenzione del 120 percento .

Sul test di coding SWE-bench Verified, il modello completo ha avuto la meglio, risolvendo 33 delle 50 problematiche rispetto alle 30 di Saluki ³. E i compromessi si vedono chiaramente nella matematica. Su AIME 2025, Saluki ha segnato 79,2 contro i 96,7 del modello completo, un calo di circa 17 punti ². Attraverso nove benchmark, il modello compresso ha mantenuto circa il 96 percento delle prestazioni dell'originale in media ¹.

Esecuzione Locale

Uno dei maggiori vantaggi di Saluki 27B è la compatibilità. Gira nel llama.cpp standard, il runtime open-source ampiamente utilizzato, con supporto completo per GPU offload ¹. Questo significa che chiunque possa già eseguire modelli locali può usarlo — senza fork personalizzati o build speciali necessarie ⁴. Un addon opzionale per la visione è disponibile in due dimensioni: 629 MB o 928 MB, a seconda che si voglia aggiungere la comprensione delle immagini ².

Il modello è disponibile su Hugging Face e sulla pagina di lancio di Underdog, rilasciato con licenza Apache 2.0 così che chiunque possa usarlo, modificarlo e distribuirlo liberamente ¹. Un post dall'account Underdog AI su X ha sottolineato la riduzione delle dimensioni di 7 volte e la vittoria nel tool-calling, definendolo il miglior modello sotto gli 8 GB che gira nell'assistente Underdog ⁵.

Per gli sviluppatori che costruiscono agenti IA locali e non possono permettersi un download di un modello da 54 GB, Saluki 27B offre un compromesso convincente: una piccola impronta con abilità di agente più forti del previsto e un percorso diretto per l'esecuzione su hardware consumer.

I fatti principali

• File da 7,89 GB, in calo rispetto ai 54 GB del modello completo
• Batte l'originale nel tool calling: 88 contro 84 su Underdog Bench
• Voto chiamate tool parallele 42, in aumento rispetto ai 35 del modello completo
• Gira su llama.cpp standard senza bisogno di fork personalizzato
• Rilasciato con licenza Apache 2.0 da Underdog / Conway Research

Seen on social

Today we're releasing Underdog Saluki 27B Based on Qwen 3.8 27B, Saluki is almost 7x smaller than its full-precision counterpart while it keeps 96% of its benchmark performance and beats Qwen at tool calling It's the best model <8GB that runs in Underdog Saluki is available… pic.twitter.com/NNmNpjNW3r

— Underdog AI on X, see the post

Fonti

1. Meet the Underdog Saluki 27B: A 2-bit Qwen3.8-27B That Beats the Original at Tool Calling — marktechpost.com
2. Meet the Underdog Saluki 27B: A 2-bit Qwen3.8-27B That Beats the ... — syncai.news
3. Meet the Underdog Saluki 27B: A 2-bit Qwen3.8-27B That Beats the ... — oo.news
4. Run Underdog Saluki 27B Locally with Llama.cpp: Full Setup Guide — mindstudio.ai
5. Saluki 27B: 2-Bit Qwen Model Beats Original at Tool Calling — aidailypost.com