AIGenerato
EN · IT · ES

I ricercatori Microsoft risolvono un problema di matematica vecchio di 31 anni e riducono del 25% i costi degli agenti di programmazione AI

Un indovinello matematico decennale è finalmente risolto e un nuovo metodo permette agli strumenti di codifica AI di risparmiare denaro senza rallentare.

Un frame dal video di annuncio.
Immagine: dal video dell’annuncio, microsoft.com
Come funziona

I ricercatori Microsoft hanno risolto un problema di matematica vecchio di 31 anni e creato metodi per rendere gli agenti di codifica basati su AI e gli strumenti linguistici più veloci ed economici

  1. I matematici applicano una nuova regola universale ai problemi di geometria
  2. Gli agenti di codifica basati su AI vanno avanti più a lungo senza riassunti costosi
  3. I tokenizer individuano parti di parola condivise tra 104 lingue

Cosa se ne potrebbe fare

  • Un matematico potrebbe applicare la nuova regola sulle distribuzioni log-concave per sbloccare progressi su altri problemi di geometria ad alta dimensionalità e algoritmi randomizzati 1.
  • Un gruppo che gestisce assistenti di codifica AI potrebbe mantenere le sessioni produttive più a lungo e abbassare la propria fattura cloud fino a circa un quarto usando il nuovo metodo di riepilogo in background 1.
  • Un ricercatore che costruisce strumenti AI per lingue minoritarie potrebbe usare un tokenizer che trova parti di parole riutilizzabili in 104 lingue invece di concentrarsi solo sulla compressione 1.

Superare una barriera vecchia di decenni

Per oltre trenta anni, la congettura KLS si è collocata tra i problemi centrali irrisolti della geometria ad alta dimensionalità, un ramo della matematica che studia le forme in spazi con molte più direzioni di quelle lunghezze, larghezze e altezze che sperimentiamo quotidianamente 1.

Ricercatori di Microsoft l'hanno ora risolta 1. Il risultato stabilisce una regola universale riguardo alle distribuzioni log-concave, pattern matematici che appaiono ampiamente in probabilità e informatica . Dimostra che tagli semplici e piatti possono identificare i collo di bottiglia più stretti all'interno di questi pattern entro un margine fisso, indipendentemente da quante dimensioni siano coinvolte .

Quella scoperta allontana un ostacolo teorico significativo per comprendere quanto siano efficaci gli algoritmi randomizzati in scienza e informatica 1. La dimostrazione è stata validata in modo indipendente e verificata anche con metodi assistiti da computer .

Agent di codifica che restano focalizzati più a lungo

Gli agent di codifica AI possono aiutare le persone a scrivere e modificare software, ma sessioni di lavoro lunghe spesso rendono difficile per un modello trattenere quante informazioni possa contenere contemporaneamente 1. Quando ciò accade, i sistemi riassumono le interazioni precedenti attraverso un processo chiamato compressione contestuale, che consuma notevoli risorse di calcolo .

Ricercatori di Microsoft hanno esaminato 13,5 milioni di sessioni di codifica e hanno scoperto che meno dell'8% necessitava di questo passaggio di riepilogo, pur rappresentando il 44% dei costi totali di elaborazione AI 1. Per studiare il problema in modo sistematico, hanno creato CompactionBench, un benchmark per valutare la compressione contestuale durante attività di codifica prolungate .

Hanno inoltre introdotto APEC, un metodo che prepara i riepiloghi silenziosamente in background invece di interrompere un agente nel mezzo di un compito 1. Nei test, APEC ha migliorato le prestazioni di codifica riducendo i costi fino al 25,4% e accorciando i tempi di esecuzione del 9,6% .

Tokenizzazione più intelligente attraverso 104 lingue

Prima che i modelli di AI possano leggere o scrivere, devono spezzettare il testo in unità più piccole chiamate token 1. La maggior parte dei sistemi si concentra a comprimere il testo il più densamente possibile, ma un nuovo studio di Microsoft sostiene che la sola compressione lascia valore sul tavolo .

I ricercatori hanno proposto il Latent Core Tokenizer, ovvero LCT, che trova blocchi riciclabili all'interno delle parole prima di costruire un vocabolario condiviso che funzioni in molte lingue 1. Attraverso valutazioni che coprono 104 lingue, LCT ha generato token più significativi dal punto di vista linguistico rispetto alle principali alternative, mantenendo un'efficienza pressoché invariata . Ha inoltre migliorato le prestazioni dei modelli su quattro benchmark multilingua .

Il team ha concluso che una buona tokenizzazione dipende non solo da quanto testo può essere stretto insieme, ma da quanto fedelmente viene preservata la struttura sottostante della lingua 1.

Lo sguardo più ampio

La puntata ha anche indicato agli ascoltatori una conversazione podcast separata con Jinyu Li, responsabile in Microsoft Applied Science, su come l'AI stia spingendo verso quel tipo di traduzione parlata in tempo reale un tempo immaginata soltanto nella fantascienza 1. Nel frattempo, la tirocinante Lilika Makabe ha raccontato come il lavoro pratico nel laboratorio di Microsoft Research a Tokyo abbia contribuito a colmare il divario tra visione artificiale e intelligenza fisica, il campo alla base di robot e macchine che si muovono nel mondo reale .

Tutti questi aggiornamenti disegnano complessivamente un programma di ricerca che punta a velocità, chiarezza e portata — minori costi per riga di codice, basi matematiche più solide e strumenti linguistici che smettono di trattare ogni lingua come un ripensamento 1.

Quanto è valido

I ricercatori di Microsoft hanno studiato 13,5 milioni di sessioni di codifica e hanno scoperto che meno dell'8% attivava una pesante compressione contestuale, pur rappresentando il 44% dei costi totali di elaborazione 1. Il loro nuovo metodo ha ridotto i costi fino al 25,4% e i tempi di esecuzione del 9,6%, migliorando al contempo le prestazioni di codifica . La dimostrazione matematica vecchia di 31 anni è stata validata in modo indipendente e verificata con metodi assistiti da computer . Per la tokenizzazione, i test su 104 lingue hanno mostrato token più significativi dal punto di vista linguistico e voti migliori dei modelli su quattro benchmark multilingua rispetto alle principali alternative, sebbene Microsoft non abbia pubblicato numeri esatti dei concorrenti .

Grafico dall'annuncio: questo grafico a torta confronta la piccola quota di sessioni di codifica che richiedono contestual compaction contro la loro grande quota di costi di elaborazione AI—fette più grandi significano maggiore impatto sui costi

Immagine: microsoft.com

I fatti principali

  • La congettura KLS in geometria ad alta dimensionalità è rimasta irrisolta per 31 anni; i ricercatori Microsoft affermano che ora è risolta, con validazione indipendente e dimostrazione assistita da computer.
  • Un'analisi di 13,5 milioni di sessioni di codifica ha trovato che meno dell'8% richiedeva contestual compaction costosa, ma quelle sessioni hanno generato il 44% dei costi di elaborazione.
  • APEC, un metodo di riepilogo in background dallo stesso lavoro Microsoft, ha ridotto i tempi di esecuzione del 9,6% e i costi fino al 25,4% nei test sugli agenti di codifica.
  • Il Latent Core Tokenizer (LCT) è stato testato su 104 lingue, producendo token più significativi dal punto di vista linguistico e migliorando quattro benchmark multilingua.

Fonti

  1. Microsoft Research Focus – Edition #98 - Microsoft Research

Guarda

Pressing the box loads the video from YouTube, which then receives your visit under its own privacy policy. Until then nothing is requested from YouTube.

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere