In un recente articolo intitolato The College Essay Is Dead [Il saggio universitario è morto, N.d.T.] e pubblicato su «The Atlantic»¹, Stephen Marche esprime preoccupazione riguardo all’utilizzo di ChatGPT nella creazione di testi di alta qualità, spesso di natura accademica, sfruttando le capacità di elaborazione del linguaggio naturale dei chatbot.

Al contrario, Stokel-Walker² sottolinea come ChatGPT possa essere di aiuto agli studenti in diversi modi, per esempio nello scrivere saggi, risolvere compiti, creare script e nella valutazione dele loro prestazioni.

In questa situazione di incertezza, alcune istituzioni educative, come le scuole del Queensland e della Tasmania in Australia, ma anche i distretti scolastici di New York e Seattle, hanno adottato misure restrittive, vietando l’uso di ChatGPT sui dispositivi e sulle reti degli studenti. Molte università, college e scuole stanno valutando restrizioni simili³.

I sistemi anti-plagio

Il plagio è il presentare il lavoro o le idee di qualcun altro come propri, senza indicarne l’autore o la fonte. Un fenomeno che non riguarda solamente il testo, ma può estendersi anche alle immagini.

Oggi il dilagante problema del plagio online, soprattutto nei compiti e negli elaborati scritti, costituisce una delle principali sfide che la scuola deve affrontare⁴.

I più diffusi sistemi anti-plagio, secondo quanto riportato da alcune fonti⁵, sono Turnitin e iThenticate, due software sviluppati dalla stessa azienda, la iParadigms LLC. Dal 1997 sono stati sempre più utilizzati nelle istituzioni scolastiche, in particolare dalle università.

Il loro funzionamento è piuttosto semplice: con un click sono in grado di dire se un testo o parte di esso è stato copiato da internet o da un altro testo disponibile in rete. Confrontano il compito dello studente con i testi contenuti nel database (materiali disponibili sul web, testi accademici, elaborati, tesi, articoli scientifici, papers) e producono un report dettagliato indicando la percentuale di originalità. Ma quanto sono affidabili questi sistemi?

Metodologia della ricerca

In un nostro studio⁶ abbiamo presentato i risultati di un’analisi di plagio effettuata su alcuni contenuti generati dall’intelligenza artificiale. In particolare abbiamo condotta un’analisi quantitativa, in cui il materiale generato da un chatbot è stato misurato attraverso gli indici di originalità prodotti da due software anti-plagio.

Per ottenere un campione rappresentativo abbiamo proposto 50 diversi argomenti e incaricato ChatGPT di redigere un saggio di 500 parole su ognuno di essi. Ciascun output è stato poi convertito in un testo e salvato in un file separato, come se fosse stato redatto da uno studente.

La prima metà di questo materiale è stata analizzata dal software Turnitin, mentre la seconda da iThenticate. In aggiunta, come ulteriore misura di controllo, abbiamo chiesto alla stessa ChatGPT di stabilire se i saggi erano stati scritti dagli studenti oppure se, a suo giudizio, questi si erano avvalsi di fonti non dichiarate.

Il fallimento dei software anti-plagio

Una volta ottenuti i punteggi di somiglianza da entrambi i software, sono state create tabelle di frequenza in cui i punteggi di somiglianza sono stati raggruppati in quattro categorie: 0-10%, 10-20%, 20-40% e 40-100%.

Secondo i risultati ottenuti da iThenticate, la maggior parte dei saggi (il 68%) è stata classificata come verosimilmente originale, con una somiglianza minima (meno del 10%) rispetto ad altri contenuti presenti nel web. In alcuni altri saggi (20%) iThenticate ha rilevato un livello accettabile di somiglianza, compreso tra il 10% e il 20%, una percentuale che sale di livello (dal 20-40%) solo in tre casi. A nessun elaborato è stato assegnato un punteggio superiore al 40%. Il grado di somiglianza a livello medio tra tutti i saggi è stato valutato di 8,76%.

Emerge chiaramente che i saggi generati da ChatGPT e vagliati da iThenticate non presenterebbero problemi di plagio se venissero spacciati dagli studenti come frutto del loro lavoro.

Sottoponendo il secondo gruppo di saggi all’altro software, Turnitin, i punteggi di somiglianza erano relativamente più alti. Da una parte, infatti, è stato rilevato un grado minimo di somiglianza, inferiore al 10%, in quasi metà degli elaborati, e solo in sei casi un livello accettabile, compreso tra il 10% e il 20%.

D’altra parte, però, Turnitin ha individuato alcuni casi problematici, assegnando un punteggio di somiglianza (20-40%) a 6 elaborati. Inoltre, è stato identificato un evidente caso di plagio, dal momento che un saggio presentava un punteggio di superiore al 40%. Il grado di somiglianza medio tra tutti i saggi è risultato 13,72%, più alto della valutazione eseguita da Turnitin (8,76%).

Argomenti oggettivi vs. argomenti controversi

I risultati di questa ricerca forniscono nuovi spunti per il dibattito in corso sull’utilizzo di ChatGPT nei compiti scolastici.

Aydın e Karaarslan⁷ hanno utilizzato ChatGPT per automatizzare e semplificare il processo di compilazione di una revisione della letteratura sulle applicazioni del Digital Twin [una rappresentazione virtuale di un oggetto fisico, N.d.T.] nel settore della salute. Hanno ottenuto gli abstract degli articoli pubblicati negli ultimi tre anni (dal 2020 al 2022) inserendo i termini «digital twin in healthcare» su Google Scholar e successivamente hanno fatto parafrasare gli abstract da ChatGPT.

L’analisi condotta con l’aiuto di Ithenticate ha rivelato un problema significativo. Circa il 40% delle parti parafrasate create da ChatGPT risultavano essere simili o identiche a materiali già presenti online. Nel loro studio, dunque, il software anti-plagio ha funzionato egregiamente.

Noi invece riteniamo che la possibilità che gli studenti possano utilizzare ChatGPT per completare i loro compiti senza essere scoperti sia molto più alta. Dei 50 saggi esaminati, infatti, ben 40 sono stati considerati altamente originali.

Ancor più interessante, però, è che i saggi rilevati come possibili casi di plagio dai software di controllo riguardavano principalmente argomenti di natura scientifica, come leggi fisiche, il riscaldamento globale e l’apprendimento automatico. Questi argomenti tendono a essere più oggettivi e tecnici, riducendo così la possibilità di includere interpretazioni personali. Al contrario, i saggi non identificati dai software come prodotti da ChatGPT avevano a che fare con argomenti più controversi, che richiedevano una riflessione personale, e temi quali le differenze culturali, le qualità di un buon insegnante o la natura della leadership. Poiché gli elaborati accademici dovrebbero rappresentare proprio il pensiero e l’analisi personale degli studenti su un determinato argomento, se un saggio prodotto da ChatGPT è sufficientemente ben scritto e sembra autentico, i software di rilevamento potrebbero non essere in grado di identificarlo come una potenziale frode.

Gli sviluppatori di Turnitin hanno rilevato questi problemi e stanno attualmente lavorando all’aggiornamento del proprio sistema⁸.

Solo ChatGPT scopre ChatGPT

Abbiamo infine esplorato un metodo diverso. Abbiamo sottoposto ognuno dei 50 saggi utilizzati nella ricerca precedente a ChatGPT ponendo la seguente domanda: «Questo testo è stato generato da un chatbot?».

ChatGPT è stata in grado di riconoscere se i testi erano stati generati autonomamente con una notevole precisione, superiore al 92%. Ha identificato ben 46 casi di frode su 50, un risultato molto migliore degli strumenti tradizionali anti-plagio.

È chiaro che il metodo tradizionale di rilevamento di plagio deve essere aggiornato nella nuova era dominata dall’intelligenza artificiale.

Probabilmente sarà necessario adottare un approccio a due fasi: prima la verifica dell’origine del contenuto, seguita da un controllo di somiglianza. E, paradossalmente, il metodo più veloce ed efficace per controllare la fonte, ossia per sapere se un testo è stato prodotto dall’intelligenza artificiale generativa o da un umano, almeno al momento, è semplicemente chiederlo all’intelligenza artificiale stessa.

Traduzione di Francesca Nicola.

NOTE

1. S. Marche, The College Essay Is Dead Nobody is prepared for how AI will transform academia, in «The Atlantic», 2022.
2. C. Stokel-Walker, AI bot ChatGPT writes smart essays-should academics worry?, in «Nature». 10.1038/d41586-022-04397-7, 2022.
3. H. Wilcox, Cheating Aussie student fails uni exam after being caught using artificial intelligence chatbot to write essay – now Australia’s top universities are considering a bizarre solution to stop it happening again, apparso sul DailyMail, 2023.
4. T. Bertram Gallant, M. Picciotto, G. Bozinovic, E. Tour, Plagiarism or not? investigation of Turnitin detected similarity hits in biology laboratory reports, in «Biochemistry and Molecular Biology Education» 47(4), 370-379, 2019. Vedi anche N. Selwyn, Not necessarily a bad thing…’: A study of online plagiarism amongst under-graduate students, in «Assessment & Evaluation in Higher Education» 33(5), 465-479, 2008.
5. S. A. Meo, M. Talha, Turnitin: Is it a text matching or plagiarism detection tool?, in «Saudi journal of anaesthesia» 13 (Suppl 1), S48, 2019. Vedi anche P. Stapleton, Gauging the effectiveness of anti-plagiarism software: An empirical study of second language graduate writers, in «Journal of English for Academic Purposes» 11(2), 125-133, 2012.
6. M. Khalil, E. Er, Will ChatGPT get you caught? Rethinking of Plagiarism Detection, in «HCI International», 2023.
7. O. Aydın, E. Karaarslan, OpenAI ChatGPT generated literature review: Digital twin in healthcare, in «Emerging Computer Technologies 2» 2022, pp. 22-31.
8. C. Caren, AI writing: The challenge and opportunity in front of education now, www.turnitin.com/blog, 2022. Vedi anche A. Chechitelli, Sneak preview of Turnitin’s AI writing and ChatGPT detection capability, www.turnitin.com/blog, 2022.