Skip to content

Come si misurano le competenze

Tempo di lettura stimato: 12 minuti
Con quali strumenti vengono valutate le capacità diffuse nella popolazione adulta? Come è possibile comparare risultati di una indagine svolta in Paesi molto diversi per lingua, cultura e livello tecnologico? Dal Dossier del numero 28 de La ricerca “Leggere, scrivere e far di conto”.
© Pxhere.

L’Indagine sulle Competenze degli Adulti del 2023 ha valutato tre aree chiave: literacy, numeracy e adaptive problem solving. Alle persone intervistate sono stati proposti una serie di compiti (noti come “elementi di valutazione”) che richiedevano abilità specifiche in ciascuna di queste aree. I compiti sono stati progettati per rispecchiare applicazioni concrete delle competenze nella vita quotidiana, sia in ambito lavorativo sia personale. In particolare, è stata posta un’attenzione speciale ai contesti digitali, che stanno assumendo sempre più importanza nella società moderna.

La somministrazione esclusivamente digitale

Una delle principali novità di questa edizione è stata la somministrazione esclusivamente digitale, attraverso dispositivi come tablet. Questa scelta ha segnato un elemento di distinzione rispetto al ciclo precedente, in cui gli intervistati potevano scegliere tra supporti digitali e cartacei. Sebbene all’epoca fosse stata stabilita un’equivalenza statistica tra le due modalità, i limiti intrinseci delle valutazioni cartacee in termini di varietà e complessità dei compiti erano evidenti. Il passaggio al digitale ha quindi permesso di ampliare la gamma e la complessità delle attività valutative. […]

La scala di valutazione delle competenze

Per ciascuno dei tre domini valutati – literacy (alfabetizzazione), numeracy (capacità matematica) e adaptive problem solving (risoluzione adattiva dei problemi) – è stata definita una scala di punteggi che va da 0 a 500 punti. Questa scala è suddivisa in livelli di competenza, che descrivono in modo dettagliato le capacità degli adulti nell’affrontare compiti di difficoltà crescente.

Literacy e numeracy: sei livelli di competenza

Per i domini di alfabetizzazione e capacità matematica, i punteggi sono organizzati in sei livelli, che vanno da “inferiore al livello 1” a “livello 5”. Ogni livello rappresenta un grado crescente di abilità, dai compiti più semplici a quelli più complessi.

  • Inferiore al livello 1: capacità minime, come il riconoscimento di parole semplici o numeri di base.
  • Livello 1: comprensione e utilizzo di testi e numeri elementari, ma con limitata capacità di affrontare compiti più articolati.
  • Livello 2: maggiore capacità di interpretare testi e numeri in contesti pratici, ma con difficoltà nella gestione di informazioni più complesse.
  • Livello 3: abilità solide nella lettura e nell’uso dei numeri, con capacità di comprendere testi più strutturati e risolvere problemi matematici di media difficoltà.
  • Livello 4: elevata padronanza nella gestione di testi complessi e calcoli avanzati, con capacità di interpretare e confrontare dati in modo critico.
  • Livello 5: massima competenza, con abilità sofisticate nell’analisi, valutazione e utilizzo di informazioni e concetti astratti.

Grazie a questa scala, è possibile determinare con precisione il livello di competenza di ciascun individuo e descrivere le sue capacità in relazione ai compiti affrontati.

Adaptive problem solving: cinque livelli di competenza

Nel dominio della risoluzione adattiva dei problemi, che riguarda la capacità di affrontare problemi pratici e situazioni nuove, la scala è leggermente diversa. In questo caso, i livelli vanno da 0 a 4, senza un “livello 5”.

  • Livello 0: competenze minime nella gestione di problemi quotidiani, con difficoltà nell’adattarsi a nuove situazioni.
  • Livello 1: capacità di risolvere problemi semplici in contesti noti, ma con difficoltà nell’affrontare imprevisti.
  • Livello 2: discreta abilità nel gestire situazioni nuove, con strategie di problem solving elementari.
  • Livello 3: buona capacità di analizzare situazioni complesse, pianificare soluzioni e gestire informazioni contrastanti.
  • Livello 4: elevata competenza nell’affrontare problemi non di routine, con flessibilità e pensiero strategico.
Competenze basse e loro implicazioni

Gli adulti che ottengono punteggi nei livelli più bassi della scala di valutazione (livelli 0 e 1) vengono definiti “adulti a basso rendimento”. Questo significa che possiedono competenze limitate nei domini valutati e potrebbero avere difficoltà ad affrontare situazioni quotidiane o professionali che richiedono comprensione testuale, capacità numeriche o risoluzione di problemi.

In pratica, questi individui non dispongono delle abilità necessarie per navigare con successo nella società moderna, sia nel contesto lavorativo sia nella vita di tutti i giorni. Le loro competenze insufficienti possono rappresentare un ostacolo significativo all’inserimento nel mondo del lavoro, alla gestione delle finanze personali, all’accesso ai servizi digitali e alla partecipazione attiva alla vita sociale.

L’analisi dei dati relativi agli adulti a basso rendimento è particolarmente rilevante per i decisori politici, poiché queste persone sono spesso esposte a un maggiore rischio di svantaggio sociale ed economico. Identificare chi si trova in questa condizione rappresenta un primo passo fondamentale per sviluppare politiche educative e programmi di formazione mirati, volti a rafforzare le loro competenze e migliorare le loro opportunità di inclusione e crescita professionale.

La literacy 

Nel ciclo del 2023, la literacy è definita come «l’accesso, la comprensione, la valutazione e la riflessione sui testi scritti al fine di raggiungere i propri obiettivi, sviluppare le proprie conoscenze e il proprio potenziale e partecipare attivamente alla società» (Rouet, 2021). Questa definizione evidenzia il ruolo dell’alfabetizzazione non solo come strumento di comunicazione, ma anche come mezzo essenziale per la partecipazione sociale e professionale.

Le competenze di alfabetizzazione risultano fondamentali in un mondo sempre più dominato dalla comunicazione scritta. Gli adulti interagiscono quotidianamente con testi di vario genere, come e-mail, volantini informativi, orari di trasporto e manuali tecnici. Per questo motivo, la valutazione della literacy mira a misurare la capacità di comprendere e utilizzare informazioni scritte in diversi contesti della vita quotidiana.

Nella figura 1 è riportato uno dei compiti utilizzati per testare la competenza in literacy: mira a valutare la capacità di estrarre informazioni chiave dal testo, comprendere i concetti esposti e applicarli a situazioni reali.

Fig. 1. Uno dei compiti utilizzati per testare la competenza in literacy.
Fig. 1. Uno dei compiti utilizzati per testare la competenza in literacy.
La numeracy 

Nel ciclo del 2023, la numeracy è definita come «l’accesso, l’utilizzo e il ragionamento critico con contenuti matematici, informazioni e idee rappresentate in molteplici modi al fine di impegnarsi e gestire le esigenze matematiche di una serie di situazioni nella vita adulta» (Tout, 2021). Questa definizione evidenzia il ruolo cruciale delle competenze matematiche e della capacità di ragionare sui dati per affrontare le sfide della vita quotidiana e professionale.

Nel contesto attuale, le richieste di competenze numeriche sono in continua evoluzione, influenzate dall’uso crescente di risorse digitali e tecnologiche. Gli individui devono sempre più spesso analizzare informazioni quantitative provenienti da fonti online, selezionarle criticamente e valutarne la pertinenza rispetto alle situazioni che affrontano. Questo processo richiede non solo abilità tecniche, ma anche la capacità di riflettere e prendere decisioni basate su un ragionamento analitico.

La figura 2 riporta uno dei compiti utilizzati per misurare la competenza in numeracy. L’esercizio valuta la capacità di individuare discrepanze nei dati numerici, correggerle e applicare conoscenze matematiche di base in un contesto pratico, riflettendo così le competenze richieste nella vita quotidiana e lavorativa.

Uno dei compiti utilizzati per testare la competenza in lnumeracy
Fig. 2. Uno dei compiti utilizzati per testare la competenza in lnumeracy
L’adaptive problem solving

L’adaptive problem solving (APS) si riferisce alla «capacità di raggiungere i propri obiettivi in una situazione dinamica in cui un metodo per la soluzione non è immediatamente disponibile. Richiede il coinvolgimento in processi cognitivi e metacognitivi per definire il problema, cercare informazioni e applicare una soluzione in una varietà di ambienti e contesti informativi» (Greiff, 2021).

Nelle società moderne, caratterizzate da un ritmo di cambiamento sempre più rapido e da una crescente complessità, la capacità degli adulti di adattarsi a nuove situazioni e di apprendere lungo tutto l’arco della vita è diventata ancora più essenziale (Greiff, 2017). Questa esigenza ha portato all’inclusione dell’APS nell’Indagine 2023 sulle competenze degli adulti, in sostituzione della precedente valutazione della risoluzione dei problemi in ambienti tecnologicamente ricchi, somministrata nel primo ciclo dell’indagine.

Caratteristiche principali dell’APS

L’APS si distingue per tre caratteristiche fondamentali.

  1. Adattabilità dinamica: misura la capacità di modificare strategie di risoluzione dei problemi in risposta a un contesto in evoluzione.
  2. Selezione delle risorse: valuta l’abilità di individuare e scegliere tra risorse fisiche, sociali o digitali disponibili.
  3. Monitoraggio metacognitivo: richiede agli individui di riflettere sui propri progressi, modificando le strategie in base ai risultati ottenuti e apprendendo dall’esperienza.

La figura 3 riporta uno dei compiti utilizzati per misurare lʹAPS: l’esercizio valuta la capacità di prendere decisioni rapide e adattative in un ambiente in continua evoluzione, competenza fondamentale nella vita quotidiana e nel mondo del lavoro.

Fig. 3. Uno dei compiti utilizzati per testare la competenza in adaptive problem solving

Fig. 3. Uno dei compiti utilizzati per testare la competenza in adaptive problem solving
Fig. 3. Uno dei compiti utilizzati per testare la competenza in adaptive problem solving
Le scale di competenza

Ogni compito all’interno di un ambito (l’alfabetizzazione, la matematica o la risoluzione di problemi) è progettato in modo tale che possa essere risolto solo da chi possiede un livello di abilità minimo. La performance di ogni partecipante su questi compiti viene poi utilizzata per stimare il suo livello di competenza in ciascun ambito, e i risultati sono rappresentati su tre scale separate: una per l’alfabetizzazione, una per la matematica e una per la risoluzione di problemi adattivi. Ogni scala va da 0 a 500 punti e i punteggi ottenuti indicano sia il livello di competenza di una persona sia la difficoltà dei compiti che ha affrontato.

La relazione tra il punteggio ottenuto e la difficoltà dei compiti è fondamentale. A ogni punto sulla scala, un adulto con un determinato livello di competenza ha circa il 67% di probabilità di risolvere correttamente i compiti che si trovano a quel livello di difficoltà. I compiti più difficili, che si trovano nelle fasce di punteggio più alte della scala, saranno quindi più impegnativi per una persona con un livello di competenza inferiore. Al contrario, i compiti più facili, che si trovano nelle fasce di punteggio più basse della scala, saranno più facili da completare per chi ha una competenza inferiore. La scala, quindi, serve a correlare la difficoltà dei compiti con il livello di abilità dell’individuo, aiutando a classificare e valutare sia le competenze sia le difficoltà incontrate nei compiti stessi.

Il confronto fra le competenze

L’alfabetizzazione, la matematica e la risoluzione dei problemi adattivi sono competenze misurate su scale separate, quindi i punteggi ottenuti in un ambito non possono essere direttamente confrontati con quelli di un altro. Ad esempio, se una persona ha un punteggio più alto in alfabetizzazione rispetto alla matematica, non significa che sia realmente più competente in alfabetizzazione. Ogni competenza ha una propria scala di valutazione e i punteggi non sono intercambiabili tra i diversi ambiti.

Quando si confrontano i punteggi tra le diverse aree, bisogna farlo in termini relativi, non assoluti. Questo vuol dire che possiamo paragonare la posizione di una persona rispetto agli altri all’interno di ogni competenza, ma non possiamo confrontare i punteggi numerici tra alfabetizzazione e matematica. Ad esempio, possiamo dire che una persona è relativamente più competente in alfabetizzazione se la sua posizione (o rango) in quella area è superiore rispetto alla sua posizione in matematica. In sintesi, i confronti significativi tra competenze diverse si basano sulla posizione relativa dell’individuo in ciascun ambito, piuttosto che sui punteggi assoluti.

L’impatto della lingua sulla valutazione

La competenza in alfabetizzazione, matematica e risoluzione dei problemi adattivi è influenzata dalla lingua in cui viene somministrata la valutazione. In genere, la valutazione viene effettuata nella lingua ufficiale del Paese, ma in alcuni Paesi viene somministrata in più lingue, per includere diversi gruppi linguistici. Questo è particolarmente importante per gli adulti che non hanno una sufficiente padronanza della lingua di valutazione. Anche se questi adulti possiedono le competenze necessarie in alfabetizzazione, numeracy o risoluzione dei problemi, la loro difficoltà nella comprensione della lingua può impedire loro di risolvere correttamente i compiti.

Questi adulti vengono definiti «non rispondenti per via dell’alfabetizzazione», e pur rappresentando una piccola percentuale della popolazione, sono presenti in tutti i Paesi partecipanti all’indagine. Nel primo ciclo dell’indagine sulle competenze degli adulti, i punteggi di questi individui venivano esclusi dalla valutazione complessiva, creando una distorsione nei risultati medi. La loro esclusione significava che i risultati finali non riflettevano accuratamente le competenze di tutta la popolazione adulta, ma solo quelle di chi era in grado di completare i compiti nella lingua di valutazione. Ciò ha portato a una visione incompleta delle competenze di un Paese, escludendo un gruppo che, pur avendo difficoltà linguistiche, possiede comunque abilità importanti in altre aree.

L’intervista a domicilio

Per risolvere il problema delle barriere linguistiche che impedivano a determinati gruppi di adulti di partecipare pienamente all’indagine sulle competenze, l’Indagine 2023 ha introdotto l’intervista a domicilio. Questo strumento, più breve rispetto al questionario completo, è autosomministrato ed è disponibile nelle lingue ufficiali dei Paesi partecipanti, oltre che nelle lingue delle principali minoranze linguistiche. L’intervista raccoglie informazioni di base come sesso, età, anni di istruzione, situazione lavorativa, Paese di origine e durata della residenza nel Paese di indagine. Viene utilizzata quando l’intervistatore non riesce a comunicare con l’intervistato a causa di barriere linguistiche e quando non è disponibile un traduttore o interprete per completare il questionario principale.

L’impatto dell’intervista a domicilio

Le informazioni raccolte attraverso l’intervista a domicilio non vengono usate direttamente per calcolare le competenze in alfabetizzazione, numeracy e risoluzione dei problemi. Tuttavia, vengono impiegate in un modello statistico per stimare la competenza dell’intervistato, basandosi sulla relazione tra le sue caratteristiche demografiche e i livelli di competenza degli adulti che hanno completato il questionario completo. Questo strumento ha permesso di ridurre il numero di “non rispondenti legati all’alfabetizzazione”, migliorando la rappresentatività dell’indagine. Tuttavia, poiché i cicli precedenti non includevano questi dati, i risultati dell’intervista a domicilio non vengono utilizzati per i confronti con le indagini passate. Inoltre, gli intervistati che hanno risposto solo a questa breve intervista sono esclusi da alcune analisi, come quelle relative al mercato del lavoro o ai risultati sociali. Per garantire trasparenza, ogni rapporto indica chiaramente quando i dati dell’intervista a domicilio sono stati inclusi o esclusi nelle analisi.


Tratto da: OECD (2024), Do Adults Have the Skills They Need to Thrive in a Changing World?: Survey of Adult Skills 2023, OECD
Skills Studies, OECD Publishing, Paris, https://doi.org/10.1787/b263dc5d-en.

Traduzione di Francesca Nicola.

Condividi:

Contatti

Loescher Editore
Via Vittorio Amedeo II, 18 – 10121 Torino

laricerca@loescher.it
info.laricerca@loescher.it