Google open-sourceizza Harness², un framework che migliora gli agent AI senza riaddestrare i modelli

Google Cloud AI Research ha rilasciato un framework open-source chiamato Harness² che aiuta gli agent AI a migliorare le proprie prestazioni modificando i sistemi che li circondano, e non cambiando il modello sottostante.

L'idea è semplice: il successo di un agent AI dipende non solo dal modello che lo esegue, ma da tutto ciò che lo circonda. Questo include le istruzioni date al modello, gli strumenti che può utilizzare, come ricorda le interazioni passate e come gestisce le decisioni. Harness² tratta tutto questo come componenti modificabili che possono essere affinati nel tempo.

"Il tuo agent può migliorare senza un modello migliore," scrivono i ricercatori.

Il framework è alla versione 0.1.0 e funziona su Linux con Python 3.12 o 3.13. Non addestra alcun peso del modello. Invece, lavora con otto componenti modificabili, ognuno memorizzato come file separato: prompt di sistema, guardrail, memoria, indicazioni per gli strumenti, subagent, abilità, script e plugin ¹.

Harness² utilizza un processo ricorsivo a due livelli per effettuare miglioramenti. In primo luogo, quando arriva un compito, l'agent lo esegue una volta utilizzando la sua configurazione attuale. Poi un editor propone due possibili modifiche: una volta volta a risolvere problemi generali come la pianificazione o l'uso degli strumenti, e un'altra che mira a conoscenze specifiche del dominio del compito. Entrambe le versioni vengono testate sullo stesso compito, e il sistema conserva solo le modifiche che hanno effettivamente prodotto risultati migliori.

Dopo ogni compito, un riflessore memorizza quanto appreso in un file chiamato EXPERIENCE.md. Questo crea una libreria crescente di lezioni che guidano i miglioramenti futuri ¹.

I ricercatori hanno testato Harness² su tre benchmark: WorkBuddy-Bench, JobBench e Harvey's LAB. Hanno utilizzato Gemini 3.5 Flash e GLM-5 come modelli base, insieme a OpenCode e Codex come ambienti di esecuzione.

I risultati hanno mostrato miglioramenti significativi dopo un solo passo di raffinamento. GLM-5 sotto OpenCode è passato da 64,2 a 75,7 su WorkBuddy-Bench, un salto di 11,5 punti. Anche i performer più deboli hanno visto miglioramenti ¹.

Quando il team ha eseguito ulteriori raffinamenti in modalità parallela con k=5, Gemini sotto OpenCode ha raggiunto 80,8 su WorkBuddy-Bench. Tre dei quattro setup testati hanno inoltre richiesto meno passaggi per compito dopo l'utilizzo di Harness ¹.

Rispetto ad altri metodi, Harness² si distingue perché impara attraverso i compiti anziché ottimizzare per uno singolo. Un approccio precedente chiamato Meta-Harness cerca il codice offline, mentre ReasoningBank regola solo la memoria recuperata con un harness fisso ¹.

L'installazione di Harness² richiede Linux, Python 3.12 e uno strumento di gestione pacchetti chiamato uv. Una demo locale può essere eseguita senza credenziali del modello, ma gli esperimenti completi con supporto del modello richiedono Node.js 20+, la Google Cloud CLI e un progetto Vertex AI ¹.

Il codice è disponibile sotto licenza Apache-2.0, rendendolo utilizzabile gratuitamente da sviluppatori e ricercatori.

Correzioni e aggiornamenti

• Corrected on 20 October 2026. An earlier version said full model-backed runs needed Node.js without specifying a version, and that even the weakest performers improved across all three benchmarks; it specified Node.js 20+ and noted that GLM-5 under Codex gained only 1.2 points on JobBench rather than improving across all benchmarks. An earlier version attributed Harness² to Google Research; the source consistently names Google Cloud AI Research. The original stated Python 3.12+ without specifying an upper bound; the source precisely says 3.12 or 3.13.

I fatti principali

• Harness² improves AI agents by refining their surrounding system, not by changing model weights
• One refinement step raised GLM-5 scores by 11.5 points on WorkBuddy-Bench
• The framework uses eight editable components including prompts, tools, memory, and skills
• A lessons library stores experiences to guide future task improvements
• It runs on Linux with Python 3.12 or 3.13 and is open-sourced under Apache-2.0

Fonti

1. Google Open-Sources Harness2, a Recursive Agent Harnessing Framework — marktechpost.com