Di recente le tecnologie di sorveglianza degli esami online, conosciute come Online Proctoring (OP) o semplicemente OP, sono diventate un argomento di grande rilevanza a causa dell’aumento del ricorso alla didattica a distanza¹. Durante i periodi di lockdown dovuti alla pandemia da COVID-19, poi, si è verificato un notevole aumento globale dell’uso di queste tecnologie².

Nonostante le istituzioni educative possano vigilare sugli studenti durante gli esami online tramite video, ad esempio utilizzando Zoom, i programmi software di sorveglianza online offrono funzionalità di monitoraggio avanzate, che possono essere eseguite sia da esseri umani sia in modo automatizzato. Per questo stanno guadagnando terreno, tanto che secondo alcuni ricercatori potrebbero diventare la “nuova normalità” nell’istruzione superiore in tutto il mondo³. Di fatto, molte università li hanno già adottati.

Autenticazione e privacy

I software di proctoring online [proctor in inglese significa “sorvegliante”, N.d.T.] prevedono un complesso sistema di autenticazione dei candidati. Raccolgono dati sensibili, come indirizzi IP, nomi, indirizzi email e password.

In genere chiedono ai candidati di fornire un documento d’identità e di scattare una foto di loro stessi, che viene confrontata in tempo reale da un supervisore umano o da un algoritmo di intelligenza artificiale.

Alcuni vanno oltre la semplice raccolta di dati: registrano la velocità di digitazione e la pressione applicata durante la digitazione del nome all’inizio dell’esame e poi usano questi dati biometrici per creare un modello del comportamento di battitura del candidato. Durante l’esame, il programma utilizza questo modello per assicurarsi che la persona che sostiene la prova sia effettivamente quella che dovrebbe essere.

Altri programmi durante l’esame chiedono dati biometrici reali, come le impronte digitali, per ulteriori verifiche di identità; un passaggio che aggiunge un ulteriore livello di sicurezza e autenticazione, ma solleva preoccupazioni sulla privacy e sulla condivisione di dati sensibili.

La relazione tra la quantità di controllo offerta dai programmi di autenticazione e l’affidabilità di questo processo è strettamente legata alla questione della privacy. I programmi che forniscono meno controllo sono spesso pubblicizzati dai loro fornitori come soluzioni meno invasive per la dimensione privata degli utenti. Questo perché un minore controllo significa generalmente che durante il processo di autenticazione sono raccolti o elaborati meno informazioni sensibili La scelta finale tra i diversi livelli di autenticazione dipende dalle esigenze specifiche dell’istituzione educativa e dalle preoccupazioni riguardanti la privacy degli studenti.

Il riconoscimento vocale

Durante le procedure di sorveglianza agli esaminandi può essere chiesto di attivare la loro webcam e di effettuare una rotazione completa di 360 gradi del dispositivo al fine di “scansionare” l’ambiente, alla ricerca di materiali non autorizzati o per verificare la presenza di familiari, amici o coinquilini⁴. Alcuni programmi possono rilevare anche la presenza di altri dispositivi, ad esempio telefoni cellulari.

Alcuni algoritmi di intelligenza artificiale attuano il riconoscimento vocale, analizzando la voce dell’utente per rilevare suoni o parole sospette durante l’esame, come il parlare ad alta voce. Altri si basano sul riconoscimento facciale, analizzando il volto dell’utente per verificarne l’identità. Altri ancora aggiungono la “rilevazione facciale”, ossia monitorano l’aspetto del candidato durante l’esame per individuare comportamenti sospetti o anomalie, come movimenti inattesi o espressioni del viso che potrebbero suggerire un tentativo di copiare.

L’apprendimento 
automatico

La maggior parte dei sistemi di proctoring online fa uso dell’automazione basata sull’apprendimento automatico (Machine Learning, ML), una specifica tecnica di intelligenza artificiale che utilizza dati per creare modelli di rilevamento. In questo contesto, gli algoritmi di machine learning vengono addestrati attraverso l’analisi di migliaia di esempi video al fine di rilevare i movimenti degli occhi e della testa correlati a comportamenti sospetti da parte degli studenti durante un esame online. Questo processo di addestramento si basa su due categorie principali di input: gli esempi “negativi” e quelli “positivi”.

Con negativi, in questo contesto, si intendono situazioni o comportamenti considerati normali, corretti o accettabili. Gli algoritmi vengono addestrati utilizzando questo tipo di esempi per imparare a riconoscere ciò che costituisce un comportamento appropriato. Un esempio negativo potrebbe essere una registrazione video di uno studente che svolge un esame seguendo alla lettera tutte le istruzioni e senza mostrare alcun atteggiamento anomalo.

Gli esempi positivi rappresentano situazioni o comportamenti considerati sospetti, inappropriati o scorretti, come il parlare ad alta voce o l’eseguire movimenti oculari insoliti. Questi esempi addestrano gli algoritmi a identificare atteggiamenti associabili a tentativi di frode. Ma in realtà, alcune azioni potenzialmente rilevabili dai programmi di proctoring come sospette potrebbero essere del tutto normali: ad esempio parlare da soli o guardarsi intorno mentre si pensa.

Il ruolo dell’uomo e dell’intelligenza artificiale

I sistemi di sorveglianza online rilevano condotte potenzialmente sospette durante gli esami, ma non emettono automaticamente giudizi di frode. La decisione finale spetta agli esseri umani responsabili della supervisione dell’esame.

Il software, infatti, non raggiunge il 100% di accuratezza e può produrre sia falsi negativi (non riconoscere comportamenti sospetti quando dovrebbe) sia falsi positivi (cioè riconoscere erroneamente comportamenti come sospetti quando non lo sono). Poiché la tecnologia non è infallibile, l’intervento umano rimane cruciale. E dipende sempre dalla discrezionalità dell’educatore o dell’istituzione come gestire i falsi positivi, cioè i casi in cui alla fine si verifica l’innocenza di uno studente precedentemente sospettato.

Alcune aziende di proctoring sostengono che la combinazione di intelligenza artificiale e esaminatori umani ben formati offra la massima accuratezza e affidabilità. Ad esempio ProctorU ha dichiarato: «Il nostro obiettivo non è sostituire gli esseri umani, ma migliorare l’accuratezza della sorveglianza, aiutandoli a individuare dettagli come ombre, sussurri, rumori o riflessi che altrimenti potrebbero passare inosservati»⁵.

Se è indubbio che queste tecnologie offrono vantaggi, è altrettanto chiaro che occorre valutarne attentamente gli aspetti negativi e proteggere gli interessi degli studenti e delle istituzioni educative.

Di solito agli studenti (a meno che non abbiano bisogni speciali) non viene concessa l’opzione di rifiutarne l’utilizzo. Le istituzioni concedono una certa discrezionalità agli educatori, ma in genere insistono affinché usino la tecnologia a disposizione.

Le aziende che sviluppano i software OP sono principalmente mosse dal profitto, e ciò comporta preoccupazioni sulla loro neutralità e obiettività. Ad esempio, in alcuni casi il personale delle aziende è coinvolto nella configurazione tecnica e nella sorveglianza stessa degli esami, e tale commistione potrebbe risolversi in un incentivo nel rilevare comportamenti sospetti, al fine di mantenere la reputazione della loro tecnologia.

I pregiudizi del machine learning

Vi è poi una preoccupazione fondamentale costituita dai pregiudizi insiti nei sistemi di machine learning. Questi, infatti, mostrano una tendenza sistematica a favorire o penalizzare specifici gruppi o categorie di individui; un risultato direttamente correlato ai dati utilizzati per il loro addestramento.

Il fenomeno appare molto chiaramente nel contesto della selezione del personale, in cui l’utilizzo di sistemi di machine learning per automatizzare la valutazione dei curriculum vitae determina spesso uno svantaggio di genere, mostrando in modo sistematico una preferenza per i candidati maschi rispetto alle femmine.

È una tendenza attribuibile all’utilizzo dei dati di addestramento. Poiché i modelli di machine learning apprendono dai dati forniti durante la fase di addestramento, nel caso specifico della selezione del personale il dataset comprende una grande quantità di curriculum vitae di candidati passati o attuali. Ma se questi dati riflettono differenze storiche di genere, come una prevalenza di candidati maschi assunti, il modello incorporerà tali schemi di disuguaglianza. E per conseguenza, riperpetuerà sistematicamente una preferenza per i candidati maschi, a svantaggio delle donne.

Una situazione simile si verifica anche nelle decisioni legali, in particolare nelle procedure per determinare le condizioni di libertà vigilata agli autori di reati. Qui, l’utilizzo di dati storici può generare una forte discriminazione vero le persone non bianche.

Il riconoscimento facciale

Il riconoscimento facciale è stato oggetto di critiche a causa della sua inesattezza, e in alcuni casi ha portato ad azioni legali⁶. Questa tecnologia si basa su algoritmi di intelligenza artificiale che vengono addestrati per identificare e confrontare volti in diverse situazioni. Nonostante siano addestrati su enormi dataset di immagini, in alcune circostanze questi algoritmi possono commettere errori nell’identificare correttamente le persone o nel decodificare le loro espressioni facciali.

Particolarmente preoccupante è l’impiego del riconoscimento facciale nei sistemi di proctoring online (OP), dove numerose segnalazioni indicano difficoltà nell’identificare accuratamente le tonalità più scure della pelle. Questo errore sistematico può avere gravi conseguenze, soprattutto per gli studenti con tonalità cutanee più scure⁷. Potrebbero incontrare ostacoli aggiuntivi durante gli esami online che dipendono da questa tecnologia o addirittura essere esclusi dall’accesso agli esami a causa di errori di identificazione. È una situazione che suscita serie preoccupazioni riguardo all’equità e al rischio di discriminazione derivanti dall’utilizzo di tali tecnologie.

Un’altra forma di pregiudizio può insorgere nel rilevare il comportamento “normale” o “accettabile” durante un esame. Infatti, i sistemi di proctoring sono progettati per segnalare atteggiamenti sospetti o non conformi, come gesti insoliti o movimenti inusuali degli occhi. Tuttavia, le persone con disabilità o neuroatipiche potrebbero comportarsi in modi che non rientrano nella norma stabilita da questi sistemi⁸.

Il ruolo degli esaminatori

Se è vero che l’accumulo di dati di addestramento sempre più ampi dovrebbe migliorare l’affidabilità dei sistemi OP, è importante notare che il pregiudizio e l’inesattezza molto probabilmente non saranno mai completamente eliminati⁹.

L’ingiustizia non deriva sempre dal pregiudizio del machine learning. Le aziende OP sottolineano che alla fine è l’istruttore a dare un giudizio definitivo sull’integrità o disonestà dello studente. Tuttavia, questo solleva interrogativi sul ruolo cruciale degli istruttori. Alcuni potrebbero avere una fiducia eccessiva nelle segnalazioni del software, come quelle che riguardano movimenti “sospetti” della testa.

La valutazione di eventi lampanti, come quando chi sta sostenendo l’esame viene sostituito da un’altra persona, è relativamente facile, ma quella legata a segnalazioni più sottili, come “voci poco udibili, leggere variazioni di illuminazione e altri segnali comportamentali” potrebbe essere molto più complessa. Con l’avanzamento della tecnologia di machine learning, probabilmente verrà attribuito ancora più peso epistemico (una maggiore fiducia) ai giudizi dell’IA, e questo potrebbe aumentare i rischi di ingiustizia.

[Tratto da: S. Coghlan, T. Miller, J. Paterson, Good Proctor or “Big Brother”? Ethics of Online Exam Supervision Technologies, in «Philosophy & Technology» 34:1581, 2021. Traduzione di Francesca Nicola.]

NOTE

1. S.A. Ginder, J. E Kelly-Reid, F. B. Mann, Enrollment and employees in postsecondary institutions, Fall 2017; e Financial Statistics and Academic Libraries, Fiscal Year 2017: First Look (Provisional Data), in «National Center for Education Statistics» 2019.
2. C. Flaherty, Online proctoring is surging during COVID-19, apparso sul sito insidehighered. com, 2020.
3. N. Selwyn, C. O’Neill, G. Smith, M. Andrejevic, X Gu, A necessary evil? The rise of online exam proctoring in Australian universities, in «Media International Australia»107, 2411–2502, 2021.
4. Examity, Auto proctoring. Examity, https:// examity. com, 2020.
5. ProctorU, Harnessing the power of artificial intelligence to improve online proctoring, www.procturu.com, 2020.
6. J. Peters, IBM will no longer offer, develop, or research facial recognition technology, apparso sul sito theverge. com, 2020.
7. M. Chin, ExamSoft’s proctoring software has a face-detection problem, The Verge. apparso sul sito theverge. com, 2021.
8. S. Swauger, Software that monitors students during tests perpetuates inequality and violates their privacy, MIT Technology Review, apparso sul sito technologyreview.com, 2020.
9. A. D. Selbst, D. Boyd, S. Friedler, Fairness and abstraction in sociotechnical systems, in «Proceedings of the Conference on Fairness, Accountability, and Transparency» 19, pp. 59–68, 2019.