A partire dall’anno scolastico 2011-12 trecento scuole hanno aderito al progetto VALeS, impegnandosi in percorsi di autovalutazione e valutazione esterna e nella realizzazione di interventi di miglioramento. Il monitoraggio della prima fase del progetto, tramite l’analisi dei rapporti di autovalutazione prodotti dalle scuole, ha permesso di evidenziare i punti di forza e le criticità del percorso autovalutativo, e di riflettere sulle modalità più opportune per supportare le scuole nella fase attuale, di avvio del Sistema nazionale di Valutazione, che prevede per tutte le scuole italiane la realizzazione di attività di autovalutazione.
VALeS (Valutazione e Sviluppo Scuola) è un progetto sperimentale promosso dal MIUR e realizzato in collaborazione con l’INVALSI e l’INDIRE. Il progetto si poneva la finalità di sperimentare un modello di valutazione delle istituzioni scolastiche orientato al miglioramento. Insieme ad altri progetti pilota di valutazione delle scuole promossi dal MIUR e dall’INVALSI, VALeS ha rappresentato una risposta alle sollecitazioni provenienti dall’Unione Europea in merito all’ampliamento e consolidamento nel nostro Paese della valutazione del sistema scolastico. Di fatto VALeS ha costituito un cantiere per la sperimentazione di procedure, protocolli e strumenti, funzionali alla realizzazione del Sistema nazionale di Valutazione previsto nel D.p.R. 80/2013.
Il modello di valutazione proposto da VALeS si colloca all’interno di una prospettiva formativa, che non limita la valutazione a una funzione di rendicontazione e accountability verso l’esterno ma che la considera come il punto di partenza per una continua azione di miglioramento (Scheerens, Glass & Thomas 2003; Poliandri et al. 2012). Il miglioramento è inteso come l’insieme dei processi che la scuola mette in campo con tutti i soggetti che ne fanno parte per innalzare il livello di apprendimento degli studenti (Hopkins, Ainscow & West 1994). In quest’ottica la valutazione – sia interna, sia esterna – viene concepita come una risorsa che la scuola può utilizzare per migliorare la propria efficacia come comunità di apprendimento, attraverso l’individuazione di processi e meccanismi, sia gestionali sia legati alla progettazione e alla pratica didattica, che possono avere un impatto positivo sui progressi e sui risultati degli studenti. Il quadro di riferimento teorico del progetto VALeS si inserisce in questa prospettiva, individuando le priorità per lo sviluppo delle scuole e i processi ritenuti fondamentali sui quali agire per promuovere il miglioramento (INVALSI 2013).
Il progetto VALeS ha costituito un cantiere per la sperimentazione di procedure, protocolli e strumenti, funzionali alla realizzazione del Sistema nazionale di Valutazione. Dal punto di vista operativo il processo di valutazione-miglioramento viene scandito da tre fasi idealmente concepite come passaggi che si susseguono all’interno di un processo ciclico: l’autovalutazione condotta dalle singole istituzioni scolastiche; la valutazione esterna realizzata da team di valutatori esterni; la pianificazione e realizzazione del miglioramento a opera della scuola. La progettazione e strutturazione delle prime due fasi è stata affidata all’INVALSI mentre il supporto delle scuole nella terza fase è stato affidato all’INDIRE.
Il modello di autovalutazione del progetto VALeS
Il processo di valutazione e miglioramento proposto prende avvio dall’autovalutazione. Questa scelta sottolinea come l’azione valutativa debba partire dalla scuola, attraverso il coinvolgimento delle sue componenti e un’analisi che parta dalla conoscenza approfondita del contesto, per ritornare alla scuola stessa sotto forma di azioni di miglioramento. In questo percorso la valutazione esterna rappresenta un’occasione di confronto con un punto di vista esterno, che funge da stimolo per la scuola nel suo processo continuo di autovalutazione e miglioramento (OECD 2013).
Il modello di autovalutazione utilizzato in VALeS si configura come strutturato e integrato con le altre fasi del processo. Il modello è strutturato poiché le scuole sono state chiamate a riflettere sul proprio operato utilizzando un quadro di riferimento teorico, strumenti e metodologie comuni a tutte le scuole partecipanti. Si è cercato tuttavia di lasciare spazio all’iniziativa delle scuole e alla rappresentazione delle specificità dei singoli contesti.
L’integrazione tra i diversi momenti del percorso può essere colta in primo luogo dal fatto che i due momenti valutativi – quello interno e quello esterno – hanno condiviso lo stesso quadro di riferimento teorico. Il percorso di autovalutazione prevedeva di riflettere ed esprimere un giudizio sul proprio operato in alcune aree relative agli esiti degli studenti e ai processi a livello di scuola; le stesse aree successivamente sono state analizzate anche dai valutatori esterni. Le scuole e i valutatori esterni, inoltre, hanno utilizzato alcuni dati e strumenti comuni per esprimere i propri giudizi. Anche l’individuazione degli obiettivi di miglioramento è stata effettuata a partire dalle aree nelle quali è stata condotta la valutazione. L’integrazione tra autovalutazione e valutazione esterna si è realizzata anche in termini sostanziali poiché, ispirandosi al modello operativo dell’autovalutazione come processo integrato (Eurydice 2004), il protocollo del progetto VALeS prevede che il rapporto di autovalutazione redatto dalla scuola rappresenti una delle fonti di informazione che i valutatori esterni consultano prima di effettuare la visita a scuola.
Il rapporto di autovalutazione redatto dalla scuola rappresenta una delle fonti di informazione che i valutatori esterni consultano prima di effettuare la visita. Per supportare le scuole nel percorso di autovalutazione, l’INVALSI ha messo a disposizione diversi strumenti: delle Linee guida per l’autovalutazione, un format per la scrittura del Rapporto di autovalutazione, un sistema di indicatori costruito a partire da dati provenienti da fonti diverse (dati del MIUR, esiti delle prove INVALSI di italiano e matematica, dati ottenuti dal Questionario scuola e dai Questionari studenti, genitori e insegnanti predisposti dall’INVALSI). Le Linee guida avevano l’obiettivo di illustrare le finalità dell’autovalutazione e di fornire indicazioni pratiche per condurre la riflessione, proponendo domande guida e suggerimenti sugli indicatori da considerare per ogni area.
Il format del Rapporto di autovalutazione era articolato in diverse parti, composte prevalentemente da campi aperti. La prima parte riguardava la descrizione del Contesto e delle Risorse. La seconda parte concerneva la valutazione degli Esiti e dei Processi; le scuole dovevano esprimere, per ciascuna area, un giudizio sulla propria performance utilizzando una scala a quattro livelli e descrivere sinteticamente le ragioni a supporto del giudizio espresso, a partire dall’analisi di evidenze osservabili o quantificabili (indicatori forniti centralmente, altre evidenze raccolte dalle scuole) e dal confronto con i valori di riferimento (medie regionali e nazionali, valori medi dell’insieme delle scuole VALeS, ecc.). La terza parte, di natura proattiva, prevedeva la descrizione degli obiettivi di miglioramento. Nella quarta, di natura critico-riflessiva, si chiedeva di descrivere il processo autovalutativo.
L’analisi qualitativa dei Rapporti di autovalutazione
Per valutare l’efficacia degli strumenti e del metodo proposto dall’INVALSI per supportare il percorso di autovalutazione delle scuole, è stata realizzata un’analisi qualitativa dei rapporti di autovalutazione (il rapporto tecnico sarà pubblicato a breve sul sito dell’INVALSI). L’analisi si è focalizzata sulla qualità del percorso seguito dalle scuole per valutare la propria performance e individuare obiettivi di miglioramento. In particolare, l’analisi qualitativa si proponeva di:
– valutare il grado di utilizzo da parte delle scuole degli indicatori messi a disposizione e di altre evidenze prodotte dalle scuole stesse (completezza);
– comprendere come le scuole hanno utilizzato tali indicatori, ovvero se i dati sono stati letti in relazione a valori di riferimento come ad esempio medie provinciali, regionali, nazionali, scuole con background socio-economico simile, ecc. (accuratezza);
– valutare il livello di approfondimento della situazione della scuola nelle diverse aree (qualità dell’analisi);
– valutare la capacità di definire obiettivi di miglioramento chiari, circoscritti e coerenti con le aree di criticità individuate nel percorso autovalutativo.
Sono stati analizzati 290 Rapporti di autovalutazione (RA). L’analisi è stata condotta con l’ausilio del software per il trattamento dei dati qualitativi QDA Miner.
I risultati dell’analisi mostrano la difficoltà delle scuole a leggere e interpretare i dati per valutare il proprio operato: la maggior parte utilizza un approccio descrittivo piuttosto che valutativo. I risultati dell’analisi qualitativa evidenziano in generale che le scuole incontrano difficoltà nell’effettuare un’analisi approfondita della propria situazione a partire dalla lettura e interpretazione di evidenze empiriche. Il grado di utilizzo dei dati è stato molto variabile tra le diverse aree del RA. Le scuole hanno utilizzato maggiormente i dati nelle aree afferenti gli esiti degli studenti; in queste aree circa il 40% delle scuole ha utilizzato tutti i dati messi a disposizione per esprimere un giudizio sulla propria situazione e una quota simile ne ha utilizzati alcuni. In queste aree le scuole potevano utilizzare i dati del MIUR relativi al successo scolastico e ai risultati a distanza degli studenti e i dati delle prove INVALSI per valutare il raggiungimento delle competenze di base e l’equità degli esiti. Nelle aree afferenti ai processi il grado di utilizzo degli indicatori (costruiti a partire dal Questionario scuola e dai Questionari studenti, insegnanti e genitori dell’INVALSI) è stato inferiore. In generale, per i processi si registra una quota più elevata di scuole che effettua un’analisi della propria situazione senza fare riferimento ad alcun dato. Tale quota è molto variabile da area ad area: se da un lato in alcune aree solo il 2% delle scuole non usa dati, daltra parte, in altre aree non utilizza dati più del 70% delle scuole. Queste differenze possono essere spiegate in parte con riferimento ai problemi di accessibilità dei dati, ma sembrano riconducibili anche alla difficoltà di lettura di alcuni indicatori complessi, oltre che alla percezione di scarsa significatività di alcuni indicatori da parte di una quota delle scuole.
Il livello di accuratezza con cui le scuole hanno interpretato i dati è strettamente dipendente dal grado di utilizzo degli stessi; pertanto, le scuole hanno effettuato confronti con i valori di riferimento soprattutto nelle aree relative agli esiti degli studenti mentre non hanno effettuato confronti prevalentemente nelle aree relative ai processi didattici ed organizzativi.
L’utilizzo di altri dati ed evidenze prodotti o raccolti direttamente ha riguardato circa il 40% delle scuole. È interessante osservare che i dati prodotti dalle scuole provengono con maggiore frequenza dai sistemi di monitoraggio e valutazione realizzati dalle scuole stesse: infatti si tratta di dati relativi ai risultati a distanza dei propri studenti e di dati provenienti dall’attività di autovalutazione già implementati dalle scuole. Ciò evidenzia come il percorso autovalutativo proposto sia in grado di dialogare ed eventualmente integrarsi con i sistemi di autovalutazione già utilizzati dalle singole istituzioni scolastiche. L’esame del livello di approfondimento ha evidenziato una maggiore capacità delle scuole di effettuare un’analisi articolata, ovvero di evidenziare i punti di forza e di debolezza a partire dall’interpretazione dei dati o tenendo conto della specificità del proprio contesto. Il livello di articolazione varia da area ad area; in generale una percentuale più elevata di scuole è stata in grado di effettuare un’analisi approfondita nelle aree afferenti ai processi (in media poco più del 50% delle scuole) piuttosto che nelle aree afferenti agli esiti degli studenti (in media poco più del 40%). Il livello medio di qualità dell’analisi non è strettamente correlato al livello di completezza e accuratezza nell’utilizzo dei dati. Si evidenziano due tipi di situazioni: poco più di un terzo delle scuole (34,4%) ha effettuato un’analisi approfondita a seguito della lettura e interpretazione dei dati; il 45,8% ha invece svolto un’analisi articolata, evidenziando punti di forza e di debolezza, ma basandosi prevalentemente sulla propria percezione della qualità delle azioni realizzate piuttosto che su evidenze empiriche.
Complessivamente l’analisi della qualità del percorso di autovalutazione ha mostrato una difficoltà da parte delle scuole a leggere e interpretare i dati per valutare il proprio operato: la maggior parte delle scuole infatti ha utilizzato un approccio descrittivo piuttosto che valutativo. Pur utilizzando gli indicatori disponibili ed effettuando confronti, molte scuole hanno condotto un’analisi descrittiva, che non permette di individuare temi salienti né in positivo né in negativo o di definire linee di azione per sviluppare ulteriormente una specifica area, come è evidente nel caso seguente:
CASE #1003
Il numero di alunni che si sono immatricolati all’Università (22%) non si differenzia significativamente con i dati della Provincia e della Regione, ma risulta inferiore al dato della Nazione. Mediana dei crediti al primo anno accademico dei diplomati a.s. 2010/11 Scientifica: 3, Sociale: 17, Umanistica: 39; Totale: 17.
In oltre un terzo dei casi, le scuole che hanno utilizzato gli indicatori confrontandoli con i valori di riferimento hanno saputo interpretarli in un’ottica valutativa, traendo indicazioni per pianificare le azioni di miglioramento:
CASE #939
L’istituto realizza il recupero delle competenze attraverso sportelli didattici modulari con una prassi praticata solo al 57% su scala nazionale e realizza anche moduli per il potenziamento delle competenze. I docenti svolgono il lavoro di programmazione riunendosi prima per ambito disciplinare, poi per dipartimento ed infine per consiglio di classe. I dipartimenti di matematica, di fisica, di latino e di scienze, curano la continuità verticale del curricolo (prassi esercitata solo al 37% su scala nazionale). La percezione della qualità di insegnamento è buona per gran parte dei genitori che valutano con (7,53 ± 1,05) il lavoro dei docenti. Il dato è in linea con il valore medio del campione (7,56 ± 1,12). Punto di criticità è, tuttavia, la scarsa pratica della didattica laboratoriale: solo il 4,5% degli studenti (contro il 21% delle scuole campionate) svolge attività di laboratorio e ciò determina insuccesso nelle valutazioni delle materie di indirizzo nel 3° e 4° anno.
L’individuazione degli obiettivi di miglioramento è risultata coerente con le aree di criticità individuate nell’autovalutazione. Le scuole che si sono attribuite punteggi bassi (1 e 2) in specifiche aree con più frequenza hanno individuato obiettivi di miglioramento in quelle stesse aree. Maggiori difficoltà sono state incontrate nell’articolazione operativa degli obiettivi. La maggior parte delle scuole ha mostrato scarsa capacità di focalizzare obiettivi di miglioramento circoscritti e valutabili, e non è stata in grado di individuare indicatori coerenti con gli obiettivi di miglioramento. Nella maggior parte dei casi le formulazioni dei risultati attesi sono coerenti con gli obiettivi individuati, ma sono espresse per lo più in termini generali e non misurabili o valutabili.
CASE #820
Obiettivo: “Miglioramento delle attività e strategie didattiche, soprattutto per quel che riguarda la differenziazione dei compiti, in relazione alle diverse attitudini e capacità degli alunni” – risultato atteso: “Equità degli esiti”.
La definizione di obiettivi circoscritti favorisce invece l’individuazione di risultati attesi misurabili e valutabili.
CASE #944
Obiettivo: “Miglioramento della progettazione didattica, monitoraggio delle scelte procedurali previste dagli insegnanti per favorire una migliore percezione della qualità dell’insegnamento” – risultato atteso: “Programmare ed effettuare almeno una prova di competenza al termine del primo e del secondo biennio per ogni dipartimento”.
Conclusioni
I risultati della ricerca hanno permesso all’INVALSI di rivedere e migliorare gli strumenti da proporre alle scuole per l’avvio del Sistema Nazionale di Valutazione. L’attuale proposta – che si rivolge a tutte le scuole italiane, statali e paritarie – tiene conto delle indicazioni provenienti dal progetto VALeS. Oltre a una ridefinizione delle aree di valutazione, sono stati migliorati gli indicatori di alcune aree e si è proceduto a una maggiore strutturazione del percorso di lettura e analisi dei dati, con domande guida più mirate e con l’introduzione di rubriche di valutazione. Anche la sezione dedicata alla definizione degli obiettivi di miglioramento è stata rivista, con la finalità di distinguere in modo più chiaro tra obiettivi generali che la scuola si propone in relazione agli esiti degli studenti (priorità strategiche di lungo termine) e le attività previste per il breve periodo (obiettivi di processo), attraverso le quali realizzare le priorità strategiche.
Se è vero che molte scuole hanno “il polso della situazione” e sanno quali sono gli ambiti nei quali devono migliorare, non sempre però sanno quali leve utilizzare per attuare un cambiamento o riescono a quantificare lo sforzo richiesto per migliorare. Molto lavoro resta da fare per supportare le scuole affinché l’autovalutazione – divenuta obbligo di legge a partire da questo anno scolastico – non venga vissuta come un adempimento burocratico, ma come un’occasione per la comunità scolastica di confrontarsi su questioni di fondo per il funzionamento della scuola. Se è vero che molte scuole hanno “il polso della situazione” e sanno quali sono gli ambiti nei quali devono migliorare, non sempre però sanno quali leve utilizzare per attuare un cambiamento o riescono a quantificare lo sforzo richiesto per migliorare. Un percorso strutturato di autovalutazione orientato al miglioramento può aiutarle a individuare indicatori significativi per valutare il proprio operato e a riflettere sui processi sui quali è possibile intervenire per generare il cambiamento.
