Un nuovo metodo rende accurati al 93% i rivelatori di testo AI, intercettando la scrittura AI mascherata
Un trucco di addestramento permette agli strumenti di rilevamento di adattarsi in tempo reale, così da restare accurati mentre gli stili di scrittura dell'AI e degli esseri umani continuano a cambiare.

Un trucco di addestramento che permette ai rilevatori di AI di affinarsi anche dopo essere stati rilasciati, beccando i testi scritti dall'AI che le persone cercano di camuffare.
- Arrivano nuovi testi da analizzare mentre il rilevatore funziona
- Riconosce gli schemi che distinguono uno scritto umano da uno generato dall'AI
- Regola silenziosamente i suoi parametri per diventare più preciso
Cosa si può fare con essa
- Un insegnante potrebbe usare un rilevatore di AI dotato di test-time adaptation per confermare se il saggio di fine semestre di uno studente è stato probabilmente autenticato da un modello linguistico di grandi dimensioni anziché dallo studente stesso, aiutandolo a individuare la scrittura AI mascherata.1
- Un esperto di cybersecurity potrebbe distribuire il rilevatore adattato per individuare email malevole o frodi SEO in cui gli attaccanti mascherano contenuti generati dall'AI come se fossero scritti da umani, eludendo gli strumenti standard di rilevamento.1
- Un responsabile delle assunzioni potrebbe affidarsi al rilevatore resiliente per valutare i materiali candidatoriali e segnalare le domande artificialmente generate e modificate per apparire umane, migliorando l'affidabilità dello screening.1

Immagine: news.mit.edu
Il problema con i rilevatori odierni
I rilevatori di AI sono essi stessi modelli di AI che confrontano un pezzo di scrittura con schemi appresi da testi umani e di AI conosciuti 1. Quando il testo che devono esaminare improvvisamente appare diverso da ciò che sono stati insegnati a riconoscere, la loro precisione cala — un problema che i ricercatori chiamano distribution shift (spostamento della distribuzione) .
Questo accade per due motivi. In primo luogo, gli stili di scrittura umana evolvono naturalmente: le persone scrivono di argomenti diversi, adottano nuove analogie e cambiano il modo in cui strutturano le frasi nel corso degli anni 1. Un rilevatore addestrato su testi degli anni 2010 potrebbe segnalare come generazione dall'AI la scrittura naturale stile 2030 . In secondo luogo, una volta che un rilevatore va al pubblico, gli sviluppatori di strumenti "humanizer" si affrettano a creare testo che sfugge al suo rilevamento, generando un ciclo continuo di adattamento e contro-adattamento .
Nei test progettati per imitare questa partita a scacco, un rilevatore commerciale ha catturato solo circa il 27 percento del testo generato dall'AI che era stato deliberatamente mascherato 1.
Quanto sono precisi i rilevatori di IA prima e dopo la correzione?
Ricercatori di MIT e Cornell che testano gli strumenti di rilevamento contro stili umani in cambiamento e strumenti 'umanizzanti' adversarial.
Come funziona il test-time adaptation
Invece di bloccare il rilevatore dopo il rilascio, i ricercatori lo lasciano modificare silenziosamente se stesso man mano che nuovo testo fluisce attraverso di esso 1. Questo testo in arrivo non è etichettato — il sistema non sa quali pezzi siano umani o di AI — ma rappresenta comunque le abitudini di scrittura attuali di entrambi i gruppi . Nel corso del tempo, il rilevatore coglie schemi statistici che separano i due, perfezionando i propri parametri interni senza bisogno di un riaddestramento completo ex novo .
Per studiare se questo funzioni realmente, i ricercatori hanno creato dataset misti di testo umano e testo generato dall'AI, poi hanno fatto passare alcuni esempi di AI attraverso humanizer tools appositamente progettate per superare i rilevatori esistenti 1. Hanno quindi applicato il test-time adaptation e valutato le prestazioni su dati etichettati di ground truth .
I risultati
Quando si è simulato il graduale cambiamento del linguaggio umano, il rilevatore adattato ha raggiunto l'85 percento di accuratezza rispetto al 73 percento ottenuto con i metodi tradizionali 1. Sul testo AI mascherato, ha ottenuto il 93 percento di accuratezza contro appena il 27 percento della baseline commerciale .
Adattarsi a cambiamenti più lenti e sottili nella scrittura umana rimane più difficile che catturare testo AI deliberatamente ingannevole, hanno notato i ricercatori 1.
Il team presenterà il lavoro alla Conference on Neural Information Processing Systems (NeurIPS) 1. Lo studio co-autore Manish Raghavan, che ricopre incarichi presso MIT Sloan School of Management, MIT Schwarzman College of Computing e il Laboratory for Information and Decision Systems del MIT, ha dichiarato: «Abbiamo dimostrato che il test-time adaptation permette al tuo rilevatore di AI di essere molto più robusto, anche con comportamento avversario continuativo da parte degli utenti dell'AI» .
L'autore principale Kevin Ren, studente laureando a Cornell Tech, ha aggiunto che il test-time adaptation potrebbe aiutare i rilevatori a «affrontare proattivamente questo comportamento iterativo di gaming da parte di utenti avversari dell'AI» 1. L'autore senior Nikhil Garg è professore assistente a Cornell Tech .
I fatti principali
- Un rilevatore commerciale coglie solo il 27% del testo AI deliberatamente mascherato; un rilevatore con test-time adaptation raggiunge il 93%
- Il test-time adaptation consente al rilevatore di autoregolarsi dopo il rilascio senza bisogno di un riaddestramento completo
- Sui benchmark di linguaggio umano in trasformazione, i rilevatori adattati hanno raggiunto il 85% di accuratezza vs. il 73% dei metodi tradizionali
- I ricercatori provengono dal MIT e da Cornell Tech e presenteranno il lavoro a NeurIPS
- La tecnica potrebbe aiutare educatori, editori, responsabili delle assunzioni e team di cybersecurity a segnalare la scrittura AI mascherata
Fonti
Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste
Continua a leggere
Come funzionaIl ricercatore del MIT vuole che l'AI spieghi se stessa invece di nascondere come funzionaHerald of AI
Il ricercatore del MIT vuole che l'AI spieghi se stessa invece di nascondere come funziona
Jacob Andreas sta allenando l'AI a parlare di ciò che ha imparato, offrendo agli utenti comuni un modo per capire come questi sistemi prendono decisioni, senza affidarsi solo a strumenti complessi di debug.
App e prodottiIl copilota AI del MIT permette agli ingegneri di guidare i progetti strutturali in tempo realeHerald of AI
Il copilota AI del MIT permette agli ingegneri di guidare i progetti strutturali in tempo reale
Un nuovo strumento mostra ai progettisti di edifici le bozze create dall'AI e ne chiede l'input, producendo strutture più solide e realizzabili in soli 15 secondi extra.
App e prodottiYogurt ti permette di registrare e riassumere le riunioni con un'AI che gira interamente sul tuo computerHerald of AI
Yogurt ti permette di registrare e riassumere le riunioni con un'AI che gira interamente sul tuo computer
Un'app open-source gratuita trasforma le tue chiamate in trascrizioni e riassunti senza inviare alcun dato al cloud.