AIGenerato
EN · IT · ES

TokenEconomizer impara dai lavori precedenti per ridurre i costi di codifica AI fino al 30,9%

Un plugin open-source permette agli assistenti alla codifica di ricordare ciò che hanno appreso in un progetto, così che i compiti futuri costino meno e hanno comunque successo.

TokenEconomizer legge ogni sessione di codifica completata e aggiorna micro-abilità, elimina strumenti inutilizzati e monitora cicli di fallimento, così i compiti successivi nello stesso progetto costano meno.
Immagine: microsoft.com
Come funziona

Un plugin open-source che permette agli assistenti di AI di ricordare il lavoro precedente, così i compiti futuri costano meno token.

  1. Installa il plugin accanto al tuo agente di AI per la codifica.
  2. Usa l'agente per completare i compiti nel tuo repository.
  3. Registra gli schemi, elimina gli strumenti inutilizzati e individua gli errori.
  4. I compiti futuri in quello stesso repo useranno meno token e avranno più successo.

In short

Cosa è successo: TokenEconomizer è un plugin open-source sviluppato da UC Berkeley, Microsoft Research e Microsoft Security. Questo strumento converte le sessioni di codifica completate in riassunti in modo che lo stesso assistente possa elaborare il lavoro futuro su quel progetto più velocemente e a minor costo.

  • Perché conta: Gli sviluppatori che usano agenti AI di codifica giorno dopo giorno spesso vedono quegli agenti ripetersi, ricaricare strumenti inutilizzati e ritentare errori — sprecando denaro per ogni prompt. TokenEconomizer taglia questo spreco senza modificare l'agente o il modello alla sua base, risparmiando circa un quinto fino a quasi un terzo dei costi nei test mentre mantiene i tassi di successo stabili.
  • Parole da sapere: Token: un'unità di testo che un modello AI legge o scrive; i modelli addebitano in base al token. Agente: un programma che può invocare strumenti — eseguire comandi, modificare file, cercare nel codice — perlopiù autonomamente.

Cosa puoi farci

  • Uno sviluppatore che usa Claude Code o un altro agente di codifica AI potrebbe installare il plugin open-source TokenEconomizer affinché le attività ripetute di correzione di bug nel proprio repository costino meno token nel tempo 1.
  • Un team che esegue lavori di sviluppo web sequenziale potrebbe utilizzare TokenEconomizer insieme al proprio agente esistente per ridurre i costi dei compiti del 16,0–21,2% rispetto all'esecuzione dell'agente senza di esso 1.
  • Uno sviluppatore che riceve molti prompt in nuovi repository potrebbe comunque beneficiarne, vedendo i costi scendere del 6,4–19,6% anche quando non c'è cronologia di sessioni precedenti a cui attingere 1.

From the announcement: A screenshot of the TokenEconomizer plugin interface inside the Visual Studio Code editor

Picture: microsoft.com

Dove avviene lo spreco

I ricercatori hanno prima analizzato come Claude Code di Anthropic spende i token in attività reali di correzione di bug tratte da SWE-Bench, un benchmark creato a partire da problemi reali in progetti Python open source 1. Tre modelli si sono ripetutamente presentati .

Innanzitutto, l'agente riscopriva gli stessi fatti ancora e ancora. Dopo che un repository aveva visto almeno cinque attività completate, il 30 % delle chiamate agli strumenti ripeteva qualcosa fatto in precedenza nello stesso repo — e solo il 7 % corrispondeva a un'azione dalla cronologia di un progetto diverso 1. In secondo luogo, l'agente pagava per caricare descrizioni di strumenti che non utilizzava mai. Riceveva 23 definizioni di strumenti ogni turno ma ne chiamava solo una frazione, lasciandone 16 inutilizzate . In terzo luogo, le attività fallite consumavano una quota sproporzionata di spesa.

Il team ha inoltre eseguito tre plugin open source esistenti per ridurre i costi. Ciascuno ha aiutato in alcuni repository ma non in altri, suggerendo che nessuna strategia fissa funziona ovunque 1.

Come impara e risparmia

TokenEconomizer sta accanto all'agente di codifica senza modifiche e aggiorna ciò che sa dopo ogni sessione leggendo il registro della sessione 1. Utilizza tre meccanismi costruiti sulle interfacce che l'agente fornisce già .

Le microabilità registrano i modelli specifici del repository sotto forma di appunti di una riga. Un appunto compare solo dopo che diverse sessioni hanno confermato il modello e viene rimosso successivamente se nuove prove lo contraddicono 1. Il pruning degli strumenti elimina le descrizioni degli strumenti che la cronologia del repository mostra essere raramente necessarie, mantenendo sempre gli strumenti fondamentali per comandi e modifica di file; gli strumenti potati possono essere ripristinati se necessario . L'intervento sul ciclo di fallimento entra in gioco quando l'agente ripete lo stesso errore. Un modello giudice separato verifica se l'agente è effettivamente bloccato o se sta ancora progredendo e, se è bloccato, l'agente riceve un breve appunto che suggerisce un'altra rotta . Se l'agente rimane bloccato anche dopo quell'appunto, il plugin segnala allo sviluppatore invece di interrompere il lavoro in autonomia .

Tutti i risparmi riportati includono il piccolo costo delle chiamate al modello di TokenEconomizer 1.

Risparmi senza cali di prestazioni

I ricercatori hanno testato TokenEconomizer su 277 attività di SWE-Bench distribuite tra sei repository, eseguendo cinque combinazioni diverse di agente di codifica e modello 1. Ogni repository è iniziato senza alcuna cronologia precedente .

Nel complesso, il costo medio per attività è diminuito dell'18,4-30,9 % e ogni singola coppia attività-repository (30 in totale) ha registrato una riduzione senza cali di prestazioni 1. Quando i ricercatori hanno provato a risparmiare denaro semplicemente riducendo lo sforzo di ragionamento del modello, hanno ottenuto tagli simili o maggiori ma hanno subìto riduzioni sostanziali nella frequenza con cui le attività riuscivano . Al contrario, il Pass@1 — la quota di attività risolte correttamente al primo tentativo — è aumentato in quattro delle cinque combinazioni agente-modello .

I risparmi sono cresciuti mentre il plugin accumulava esperienza. Le prime attività potrebbero effettivamente costare di più mentre TokenEconomizer stava ancora imparando, ma la spesa cumulata è scesa sotto il default in ogni repository già dal sesto task 1. Le micro-skills, la potatura degli strumenti e l'intervento sul ciclo di fallimento hanno ciascuno contribuito individualmente a ottenere risparmi, e la combinazione di tutti e tre ha prodotto la massima riduzione .

Lo stesso approccio ha anche ridotto i costi nelle attività sequenziali di sviluppo web dell'16,0-21,2 % su Web-Bench e, persino nel controllo di sicurezza, dove ogni attività utilizza un repository nuovo, i costi sono scesi del 6,4-19,6 % 1.

Chart from the announcement: This chart compares token costs across agent-model combinations using bars and success rates using lines, where shorter bars indicate greater savings from TokenEconomizer

Picture: microsoft.com

Chart from the announcement: This chart compares token spend against tokens used across repositories, with each bar showing how much the tool reduces cost compared to the coding agent alone

Picture: microsoft.com

Chart from the announcement: The line graph compares token costs across five AI coding agents, where each descending line represents lower costs after using TokenEconomizer

Picture: microsoft.com

I fatti principali

  • TokenEconomizer ha ridotto i costi medi per attività dell'18,4-30,9 % su 277 attività di correzione bug e cinque combinazioni agente-modello.
  • I tassi di successo delle attività sono rimasti ampiamente stabili e il Pass@1 è migliorato in quattro delle cinque configurazioni.
  • Il plugin inizia a dare frutti dal sesto compito in poi in ogni repository, con risparmi cumulativi che crescono man mano che impara.
  • I risparmi si sono estesi oltre le correzioni dei bug: costi inferiori del 16,0-21,2 % nello sviluppo web e del 6,4-19,6 % nel controllo di sicurezza.
  • Funziona senza modificare né l'agente né il modello sottostante, utilizzando microabilità, pruning degli strumenti e intervento sul ciclo di fallimento.

Fonti

  1. TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient - Microsoft Research

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere