D: Che cos’è la valutazione?

R: È qualcosa che facciamo in ogni momento della giornata. Valutiamo sempre, tutti i giorni. Fa parte della vita. Questo ovviamente se consideriamo un’accezione più colloquiale, generica del termine. Anche ora, qui in questa stanza, possiamo certamente dire cosa di questa ci piace e cosa non ci piace, esprimendo così un giudizio di valore.
Quando parliamo di valutazione applicata al sistema nazionale di istruzione parliamo di un monitoraggio, prendendo in esame il sistema intero. Non si tratta soltanto dei test INVALSI; esistono approcci diversi alla valutazione: da un lato approcci sistematici, dipendenti da metodi scientifici, psicometrici, strutturati; dallaltro approcci più aperti, qualitativi.
In una pubblicazione in lingua italiana (Scheerens et al., 2011) ho tentato di delineare un quadro esaustivo dei diversi metodi di valutazione, i quali dipendono sostanzialmente da tre dimensioni:

– fonte dei dati (esami, prove, test, voti, dati amministrativi; statistiche; dati basati su ricerche o indagini di esperti, ispettori);
– tre funzioni di base: rendicontazione, miglioramento, accreditamento;
– gli oggetti della valutazione: il sistema educativo, i programmi educativi, le scuole, gli insegnanti, gli alunni.

Quando si dispongono queste tre voci in uno schema e si incrociano le dimensioni con le funzioni e con gli oggetti della valutazione, si ottiene una classificazione delle principali forme di monitoraggio e di valutazione (M&E).
Alcuni metodi possono avere più di una funzione: si possono usare test per la rendicontazione, per la valutazione sommativa, oppure per il miglioramento. La valutazione quindi non è mai una fotografia inerte: ha sempre uno scopo.

D: Si parla sia di autovalutazione della scuola sia di valutazione esterna. Quali sono le differenze e quali le implicazioni per le scuole?

R: Valutazione e autovalutazione hanno finalità e modalità diverse. La valutazione esterna ha una funzione di controllo, anche politico. Mira a verificare, ad esempio, se le riforme o i provvedimenti assunti a livello centrale hanno prodotto gli esiti previsti.
Nell’autovalutazione, talvolta definita anche internal accountability, punto di vista e coinvolgimento sono diversi e partono ovviamente dall’interno della scuola.

La valutazione non è mai una fotografia inerte: ha sempre uno scopo. Nel definire un processo di valutazione di sistema è importante mettere in luce una prima fase di analisi delle variabili e d’individuazione dei fattori che si ipotizza agiscano sul buon funzionamento della scuola. Successivamente si raccolgono i dati e le informazioni empiriche che possono fornire indicazioni e prove circa la presenza o meno di determinate caratteristiche (il numero delle assenze, così come i risultati di una prova di apprendimento ecc). Dall’altra parte ci sono confronti da fare rispetto al contesto normativo (l’applicazione di standard, norme, benchmark).
Questi due aspetti sono sempre presenti, per questo credo che la sfida per la scuola sia duplice: abituarsi a lavorare basandosi sui dati e a utilizzare le informazioni raccolte in modo sistematico; e poi naturalmente dare un giudizio su quanto raccolto, interpretare i dati. Inoltre ci sono frameworks espliciti, ci sono norme, standard, che vanno utilizzati secondo certe regole.

La domanda da porsi è: come possono le scuole fare un buon uso di tutto ciò? Una valutazione o autovalutazione basata sui dati genera l’aspettativa di qualcosa di più: migliorare. Si tratta di prendere decisioni e metterle in pratica: il seguito della valutazione è sempre un’azione, dopo la quale si procederà con nuove misurazioni, e così via.

D: Bisogna quindi anche investire per formare le scuole alla valutazione, per sviluppare le competenze delle scuole su come usa-re i dati e i risultati e su come procedere per fasi conseguenti.

R: Certamente. Questo è un aspetto molto centrale. L’aspetto interessante di una valutazione sistematica applicata alla scuola o al sistema educativo è che questa valutazione è sì data per scontata, ossia è “giusto” farla, con un senso anche ovvio; allo stesso tempo, in tutti i Paesi in cui si attua la valutazione delle scuole, questa appare sempre anche come un elemento estraneo, non naturale, imposto.
Parte della professione dell’insegnante è valutare lo studente, ed è questo concetto di valutazione ad avere cittadinanza: gli insegnanti sono abituati a farlo. Nel momento in cui però gli insegnanti diventano oggetto di valutazione iniziano anche i problemi. Anche perché nel bagaglio della formazione professionale dell’insegnante spesso mancano elementi di metodologia della ricerca, non fanno parte del suo training, in genere sono qualcosa di nuovo.

Nei Paesi con una tradizione più lunga di valutazione dei sistemi scolastici e delle scuole, le cose stanno – in parte – diversamente: ad esempio in Inghilterra, dopo trent’anni in cui si occupano di valutazione, forse qualcosa (concetti, procedure, metodi) è filtrato anche nella formazione degli insegnanti.

Manca una cultura dell’autoconsapevolezza: le scuole non sono consapevoli del loro status di produttrici di bene (sociale ed economico). E qui tocchiamo un punto nodale. Le principali differenze di metodi e risultati tra Paesi dipendono spesso proprio dal fattore “tempo”: da quanto tempo in quel Paese si studia ovvero si fa valutazione nelle scuole?

L’Inghilterra, dicevamo, ha cominciato presto, seguita subito dopo dall’Olanda; la Germania più tardi, nel 2000 con l’indagine PISA. In Italia il percorso di valutazione interna ed esterna è cominciato nel 1998, con l’autonomia e con le Indicazioni della Commissione europea, oltre che con la spinta data dall’indagine OCSE-PISA. Nell’ambito dell’autovalutazione, occorre tenere presente che è diversa in tutti i Paesi, ciascuno ha il proprio approccio.

Spesso esiste un collegamento con la valutazione degli ispettorati: in Olanda, ad esempio, gli ispettorati valutano le scuole (valutazione esterna); però una parte di ciò che valutano è se la scuola è in grado di fare in autonomia un quality monitoring, l’autovalutazione. È stato anche fatto un esperimento in cui si è cercato di usare l’autovalutazione per risparmiare sui costi del lavoro degli ispettori esterni nel visitare le scuole. Quando l’autovalutazione di una scuola era molto positiva, allora la si prendeva per buona e non si procedeva oltre con le valutazioni esterne.
Ma questo esperimento, durato cinque anni, non ha funzionato bene: una percentuale troppo alta delle scuole non è stata in grado di effettuare un’efficace autovalutazione.

In molti Paesi le scuole non sono formate per autovalutarsi: manca forse una cultura dell’autoconsapevolezza, non si è consapevoli del proprio status di produttori di bene (sociale ed economico).
Un obiettivo importante sarebbe quindi rendere le scuole competenti nell’autovalutazione e consapevoli del loro ruolo.

D: È possibile, e fino a che punto, una standardizzazione (benchmarking) della valutazio
ne scolastica?

R: È necessario distinguere tra concetto di standard e concetto di benchmark. Gli studi comparativi internazionali consentono di paragonare gli esiti dei sistemi di istruzione, in base ai quali si può scegliere, arbitrariamente, una serie di standard. Per esempio: scegliere come obiettivo quello di fare come la Finlandia, ovvero raggiungere risultati paragonabili a quelli del Paese assunto come standard. Oppure si può scegliere di riferirsi a una media, e allora la valutazione riguarderà se si è sopra o sotto la media. O ancora, ci si paragona ai Paesi più vicini, oppure si valuta tenendo conto del fattore tempo: siamo stati migliori o peggiori di prima? È una valutazione dell’evoluzione longitudinale, che pone in risalto i progressi compiuti.

D: E in Italia a che punto siamo?

R: Penso che l’Italia sia a un punto molto interessante, veramente penso che sia stato fatto moltissimo negli ultimi cinque anni, tra INVALSI, VALeS, PON e altre ricerche.
Ora è finalmente disponibile una quantità notevole di documenti; ci sono gli strumenti: un bel lavoro, che prima mancava e ora c’è, è completo, esauriente.
La grande sfida per l’Italia, in questo momento, è un’implementazione: fare un buon uso di questo materiale.

D: In Italia le proteste, soprattutto attraverso i sindacati, si sono concentrate sul poco tempo a disposizione per la compilazione dei questionari e soprattutto sull’opacità dell’operazione nei metodi e nell’utilizzo dei dati stessi – non solo da parte di INVALSI ma anche del ministero.

R: Il prodotto di una autovalutazione dipende totalmente dalla scuola, ma è oggetto di interesse anche da parte di altre istituzioni. Ad esempio, i sindaci di una città, che possono comparare diversi istituti e usare i risultati per scopi differenti.
È noto che in Inghilterra l’erogazione di fondi è legata alla bontà o meno dei punteggi ottenuti.
Il rischio qui è che ci sia confusione di intenzioni valutative, anche da parte del ministero.
Ovviamente la valutazione può essere vista anche come uno strumento di controllo, e quindi cambia completamente la motivazione a partecipare.

D: Un’ultima domanda, sulla dimensione internazionale e anche sulla school effectiveness: quest’ultima è un sistema di valori che l’Italia sta importando?

R: Partiamo dal principio. L’idea di fondo, anche nei progetti italiani (ad esempio AVIMES) sulla scia della sperimentazione fatta in Olanda, è che nel preparare uno strumento per l’autovalutazione sia essenziale, oltre che dotarsi di indicatori di output, anche sapere quali sono i metodi, l’organizzazione, lo stile di leadership, le modalità didattiche che davvero possono migliorare i risultati.

Nel quadro di riferimento della school effectiveness gli output sono centrali: i processi sono importanti solo nella misura in cui hanno un impatto sui risultati. L’idea della school effectiveness è “What works?”: cosa funziona? Adottandola per il progetto AVIMES, quest’istanza forte ha comportato la selezione di indicatori di processi e di variabili che hanno mostrato un impatto evidente sull’outcome. In questo modo si aiutano concretamente le scuole, perché il legame tra il miglioramento di questi fattori, variabili e malleabili, e il miglioramento dei risultati è diretto.
Nel quadro di riferimento della school effectiveness gli output sono centrali. I processi sono importanti solo nella misura in cui hanno un impatto sui risultati. È una differenza sostanziale rispetto al modello INVALSI, in cui – talvolta – si valutano i processi di per sé, in assoluto (ad esempio, nel dire se un tipo di didattica è o non è innovativa tout-court).

Questa è una prospettiva non utilizzata nel modello della school effectiveness: l’innovazione di per sé non sarà mai un criterio autonomo. Ciò che conta è l’impatto finale che quest’innovazione avrà sui risultati di apprendimento. Una valutazione quotidiana in quest’ottica è più difficile, ovviamente: è una filosofia euristica che serve per scegliere, per fondare le decisioni su dati validi.
Quando valutiamo una scuola, quindi, non possiamo non prendere in considerazione gli output. Gli output sono centrali, ed è la filosofia centrale del progetto AVIMES, che si pone in generale la seguente domanda: come si fa a far variare i processi (le variabili di processo) affinché cambino i risultati?

Anche per INVALSI i risultati contano, sono centrali. Il Rapporto di autovalutazione è infatti articolato in: Contesto/risorse, Risultati, Processi. Ma i risultati derivati dai test riguardano, per ora, solo italiano e matematica. Tuttavia la metodologia utilizzata per la costruzione e validazione dei test e per la restituzione dei risultati alle scuole è molto efficace. I dati sono molti, gli strumenti sono affidabili: l’importante è che le scuole siano motivate e sostenute a utilizzarli.