AIGenerato
EN · IT · ES

Un nuovo metodo rende accurati al 93% i rivelatori di testo AI, intercettando la scrittura AI mascherata

Un trucco di addestramento permette agli strumenti di rilevamento di adattarsi in tempo reale, così da restare accurati mentre gli stili di scrittura dell'AI e degli esseri umani continuano a cambiare.

I ricercatori del MIT e di Cornell hanno sviluppato un modo perché i rilevatori di AI continuino ad adattarsi mentre gli stili di scrittura cambiano.
Immagine: news.mit.edu
Come funziona

Un trucco di addestramento che permette ai rilevatori di AI di affinarsi anche dopo essere stati rilasciati, beccando i testi scritti dall'AI che le persone cercano di camuffare.

  1. Arrivano nuovi testi da analizzare mentre il rilevatore funziona
  2. Riconosce gli schemi che distinguono uno scritto umano da uno generato dall'AI
  3. Regola silenziosamente i suoi parametri per diventare più preciso

Cosa si può fare con essa

  • Un insegnante potrebbe usare un rilevatore di AI dotato di test-time adaptation per confermare se il saggio di fine semestre di uno studente è stato probabilmente autenticato da un modello linguistico di grandi dimensioni anziché dallo studente stesso, aiutandolo a individuare la scrittura AI mascherata.1
  • Un esperto di cybersecurity potrebbe distribuire il rilevatore adattato per individuare email malevole o frodi SEO in cui gli attaccanti mascherano contenuti generati dall'AI come se fossero scritti da umani, eludendo gli strumenti standard di rilevamento.1
  • Un responsabile delle assunzioni potrebbe affidarsi al rilevatore resiliente per valutare i materiali candidatoriali e segnalare le domande artificialmente generate e modificate per apparire umane, migliorando l'affidabilità dello screening.1

Dall'annuncio: una mano robotica che tiene una penna scrivendo su un documento giallo con la parola 'HUMAN' visibile tra righe di testo stilizzate e decorazioni scintillanti

Immagine: news.mit.edu

Il problema con i rilevatori odierni

I rilevatori di AI sono essi stessi modelli di AI che confrontano un pezzo di scrittura con schemi appresi da testi umani e di AI conosciuti 1. Quando il testo che devono esaminare improvvisamente appare diverso da ciò che sono stati insegnati a riconoscere, la loro precisione cala — un problema che i ricercatori chiamano distribution shift (spostamento della distribuzione) .

Questo accade per due motivi. In primo luogo, gli stili di scrittura umana evolvono naturalmente: le persone scrivono di argomenti diversi, adottano nuove analogie e cambiano il modo in cui strutturano le frasi nel corso degli anni 1. Un rilevatore addestrato su testi degli anni 2010 potrebbe segnalare come generazione dall'AI la scrittura naturale stile 2030 . In secondo luogo, una volta che un rilevatore va al pubblico, gli sviluppatori di strumenti "humanizer" si affrettano a creare testo che sfugge al suo rilevamento, generando un ciclo continuo di adattamento e contro-adattamento .

Nei test progettati per imitare questa partita a scacco, un rilevatore commerciale ha catturato solo circa il 27 percento del testo generato dall'AI che era stato deliberatamente mascherato 1.

In un colpo d’occhio

Quanto sono precisi i rilevatori di IA prima e dopo la correzione?

Tradizionale (rilevatore)Adattato (rilevatore)
Cambiamento graduale dello stile umano73%85%
Testo IA deliberatamente mascherato27%93%

Ricercatori di MIT e Cornell che testano gli strumenti di rilevamento contro stili umani in cambiamento e strumenti 'umanizzanti' adversarial.

Come funziona il test-time adaptation

Invece di bloccare il rilevatore dopo il rilascio, i ricercatori lo lasciano modificare silenziosamente se stesso man mano che nuovo testo fluisce attraverso di esso 1. Questo testo in arrivo non è etichettato — il sistema non sa quali pezzi siano umani o di AI — ma rappresenta comunque le abitudini di scrittura attuali di entrambi i gruppi . Nel corso del tempo, il rilevatore coglie schemi statistici che separano i due, perfezionando i propri parametri interni senza bisogno di un riaddestramento completo ex novo .

Per studiare se questo funzioni realmente, i ricercatori hanno creato dataset misti di testo umano e testo generato dall'AI, poi hanno fatto passare alcuni esempi di AI attraverso humanizer tools appositamente progettate per superare i rilevatori esistenti 1. Hanno quindi applicato il test-time adaptation e valutato le prestazioni su dati etichettati di ground truth .

I risultati

Quando si è simulato il graduale cambiamento del linguaggio umano, il rilevatore adattato ha raggiunto l'85 percento di accuratezza rispetto al 73 percento ottenuto con i metodi tradizionali 1. Sul testo AI mascherato, ha ottenuto il 93 percento di accuratezza contro appena il 27 percento della baseline commerciale .

Adattarsi a cambiamenti più lenti e sottili nella scrittura umana rimane più difficile che catturare testo AI deliberatamente ingannevole, hanno notato i ricercatori 1.

Il team presenterà il lavoro alla Conference on Neural Information Processing Systems (NeurIPS) 1. Lo studio co-autore Manish Raghavan, che ricopre incarichi presso MIT Sloan School of Management, MIT Schwarzman College of Computing e il Laboratory for Information and Decision Systems del MIT, ha dichiarato: «Abbiamo dimostrato che il test-time adaptation permette al tuo rilevatore di AI di essere molto più robusto, anche con comportamento avversario continuativo da parte degli utenti dell'AI» .

L'autore principale Kevin Ren, studente laureando a Cornell Tech, ha aggiunto che il test-time adaptation potrebbe aiutare i rilevatori a «affrontare proattivamente questo comportamento iterativo di gaming da parte di utenti avversari dell'AI» 1. L'autore senior Nikhil Garg è professore assistente a Cornell Tech .

I fatti principali

  • Un rilevatore commerciale coglie solo il 27% del testo AI deliberatamente mascherato; un rilevatore con test-time adaptation raggiunge il 93%
  • Il test-time adaptation consente al rilevatore di autoregolarsi dopo il rilascio senza bisogno di un riaddestramento completo
  • Sui benchmark di linguaggio umano in trasformazione, i rilevatori adattati hanno raggiunto il 85% di accuratezza vs. il 73% dei metodi tradizionali
  • I ricercatori provengono dal MIT e da Cornell Tech e presenteranno il lavoro a NeurIPS
  • La tecnica potrebbe aiutare educatori, editori, responsabili delle assunzioni e team di cybersecurity a segnalare la scrittura AI mascherata

Fonti

  1. Helping AI text detectors keep up with changing conditions

Se questa notizia riguarda te o la tua azienda, o usa qualcosa che ti appartiene, chiedi una correzione o la rimozione. Come funzionano le richieste

Continua a leggere