Rilevazione 2004-2005: la valutazione degli apprendimenti

1. Rilevazione 2004-2005: la valutazione degli apprendimenti di Anna Maria Caputo 28/4/2005

2. SNV: avvio sistema (1/3) • La costruzione del servizio nazionale per la valutazione del sistema scolastico ha avuto nel nostro paese una gestazione lunga e sofferta, con tempi che ci hanno visto fortemente in ritardo rispetto al panorama internazionale. • 1990, Conferenza nazionale della scuola, si formula per la prima volta un’ipotesi al riguardo;

3. SNV: avvio sistema (2/3) • 1997, direttiva 307 che istituisce il Servizio nazionale per la qualità dell’istruzione con il compito “…di valutare lo stato e l’efficacia del sistema formativo del Paese nelle sue articolazioni e a tutti i suoi livelli, alfine di suggerire i necessari miglioramenti anche a confronto con comparabili situazioni di altri paesi”; • 1999, D. lgs n. 258 che trasforma il CEDE in Istituto Nazionale per la Valutazione del Sistema dell’Istruzione con ampliamento di compiti e finalità nel settore della valutazione;

4. SNV: avvio sistema (3/3) • 1999-2001, attivazione del Seris da parte dell’INValSI; • luglio 2001, istituzione da parte del Ministro del GdL sulla valutazione con lo scopo di disegnare un servizio che fornisca informazioni utili ai diversi livelli decisionali e d’intervento (MIUR, enti locali, scuole) per la conoscenza del fenomeno “scuola” e del suo andamento nel tempo; • 2002-2004, sperimentazione sul campo del modello con relativi aggiustamenti (PP); • luglio 2004, direttiva n. 56 sulle priorità strategiche dell’INValSI nella quale vengono disegnate le caratteristiche della rilevazione 2004-2005; • novembre 2004, D. lgs. n. 286 di Istituzione del Servizio Nazionale di Valutazione del sistema di istruzione e formazione.

5. Rilevazione degli apprendimentia. s. 2004 -2005 • È parte della rilevazione annuale nazionale del sistema educativo di istruzione condotta dal SNV anche se ha le caratteristiche di una rilevazione ponte; • si colloca: • all’interno di un Quadro normativo (nazionale); • in accordo con gli obiettivi strategici di Lisbona (Relazione commissione europea maggio 2000); • in continuità con le attività sperimentali precedenti (Progetti Pilota 2002-04).

6. Quadro normativo 1/3 • D. lgs n. 59 del 2004 (Riforma) che indica i livelli scolastici interessati (inizio I, II e III biennio), il periodo di somministrazione (inizio anno scolastico), oggetto da valutare (“…i livelli di padronanza mostrati dagli allievi nelle conoscenze e nelle abilità raccolte negli OSA indicati per la…”);

7. Quadro normativo 2/3 • Direttiva n. 56 del luglio 2004, in cui il Ministro: • indica le discipline da saggiare (Italiano, Matematica, Scienze); • ribadisce il carattere di obbligatorietà per le scuole del I ciclo pubbliche e paritarie e il carattere facoltativo per le scuole del II ciclo (“…previa adesione delle scuole da valutare.”); • afferma che per il II ciclo bisognerà tener conto degli specifici piani di studio propri di ciascun indirizzo; • consente la deroga per quest’anno dai tempi previsti dalle indicazioni nazionali;

8. Quadro normativo 3/3 • D. lgs n.286 del 2004 sull’«Istituzione del Servizio nazionale di valutazione del sistema educativo di istruzione e di formazione» ribadisce che • l’obiettivo di tale servizio è di valutare l’efficienza e l’efficacia del sistema “inquadrando la valutazione nel contesto internazionale” (art.1); • l’INValSI “effettua verifiche periodiche e sistematiche sulle conoscenze ed abilità”.

9. Gli obiettivi dei sistemi di istruzione e formazione in Europa(Consiglio d’Europa, Gazzetta Ufficiale delle Comunità Europee, 2002) • Lettura, scrittura e calcolo; • Matematica, scienze e tecnologia; • Lingue straniere; • Settore delle TIC e uso della tecnologia; • Apprendere ad apprendere; • Competenze sociali; • Spirito d’impresa; • Cultura generale.

10. Attività di valutazione del sistema di istruzione a.s. 2004-2005 Azioni correttive Prove di apprendimento Alunni Valutazione interna Istituzione Scolastica Valutazione esterna INValSI 2004-2005 Strumentario di Sistema Istituzione Scolastica Trasmissione risultati Trasmissione elaborazione

11. Caratteristiche del modello base per il SNV (1/2) • È coerente con le responsabilità in materia di istruzione dello Stato, ovvero garantire i livelli unitari e nazionali di fruizione del diritto allo studio…(D. lgs. N. 59/1997); • misura, scuola per scuola, il grado di raggiungimento degli obiettivi stabiliti dallo Stato; • consente l’individuazione tempestiva e sistematica (annualmente), scuola per scuola, delle eventuali non conformità rispetto agli obiettivi del punto 2; • consente allo Stato di conoscere lo stato complessivo del Sistema e di intervenire in sede di programmazione allocando opportunamente le risorse necessarie;

12. Caratteristiche del modello base per il SNV (2/2) • responsabilizza le scuole lasciando loro il compito d’intervenire con le necessarie azioni correttive e allocazioni di risorse, per ottenere il miglioramento continuo del servizio reso; • utilizza indicatori coerenti con quelli usati dai servizi di valutazione internazionali e, quando saranno presenti, comunitari; • richiede risorse compatibili con il bilancio dello Stato.

13. Il modello SNV 2004-2005 prende in considerazione… • due livelli di responsabilità: • singola scuola; • centrale (Ministero); • due tipi di valutazione: • esterna, di competenza della responsabilità centrale attuata attraverso prove di apprendimento sugli alunni e un questionario di sistema inviato alle scuole; • interna, di competenza delle scuole che elaborano i dati della valutazione esterna nell’ambito della loro valutazione interna per disporre le conseguenti azioni correttive.

14. Momenti interessati dalla valutazione Processo di acquisizione di competenze individuali (livello singolo alunno, compito degli insegnanti, presi in considerazione i piani personalizzati, le competenze, l’agire educativo) Processo di verifica degli esiti attesi (livello nazionale, compito di un soggetto esterno) Processi di miglioramento dell’Istituto (livello istituto)

15. Sviluppi futuri • Definizione di indicatori che possano racchiudere la maggior parte delle variabili che contribuiscono alla formazione della persona (alunno) dai primi anni di della scuola dell’infanzia sino ai primi anni di lavoro pst laurea; • nel misurare le prestazioni bisogna tener conto anche dell’outcome, inteso come la percezione (o effetto) del risultato da parte dell’interessato nel medio e lungo periodo; • migliore indicatore è il Capitale Umano se per CU si intende il patrimonio personale che il soggetto acquisisce attraverso le conoscenze conseguite, le nozioni ricevute, le esperienze effettuate e le proprie capacità.

16. Costruzione delle prove: quali vincoli? • predisposizione in continuità con le pregresse attività sperimentale (PP) (stesse discipline, coerenza scientifica, stesso gruppo di esperti allargato); • necessità di fornire alle scuole i propri risultati entro il corrente a.s.; • assenza degli standard di prestazione per cui definizione dei nuclei disciplinari essenziali da parte dei GdL.

17. Chi ha costruito le prove? (1/2) • Gruppo di lavoro (GdL), esperti disciplinari provenienti dal mondo accademico, dal mondo della scuola e da ricercatori INValSI: • presieduto dal Presidente dell’INValSI; • coordinato da alcuni membri del CTS e dall’INValSI; • in continuità con i PP ha utilizzato il medesimo gruppo di esperti integrandolo con esperti provenienti dal mondo della scuola;

18. Chi ha costruito le prove? (2/2) • suddiviso per sottogruppi disciplinari: • Italiano, coordinato dal prof. Manzotti (Univ. Ginevra, 14 esperti); • Matematica, coordinato dal prof. Marchi (Univ. Cattolica, Brescia; 17 esperti); • Scienze, raggruppa 5 discipline, coordinato dai prof. Casati (Univ. Como) e Pallottino (Univ. La Sapienza, Roma) (19 esperti + 3 docenti universitari).

19. Quali criteri per la costruzione delle prove? (1/5) • Analisi approfondita degli item PP3 (calibrazione degli item); • individuazione di un numero limitato di conoscenze ed abilità ritenute irrinunciabili (essenziali), acquisite nel biennio precedente, tenendo conto delle indicazioni nazionali, degli OSA (I ciclo) e dei “programmi” effettivamente e generalmente sviluppati; • ricorsività di alcune conoscenze ed abilità in più livelli ed esplorazione con complessità crescente;

20. Quali criteri per la costruzione delle prove? (2/5) • struttura dei quesiti per riflettere e non per rispondere meccanicamente; • uniformità della struttura (quesiti a scelta multipla per consentire la lettura ottica e restituire gli esiti alle Is in tempi brevi); • durata della prova non superiore ad 1 ora e per la II primaria a 30 minuti (3 gg.); • taratura dei quesiti nel pretesting;

21. Quali criteri per la costruzione delle prove? (3/5) • per il I ciclo predisposizione di una prova per disciplina e per livello; • per la secondaria di II grado: • per la I classe, nessuna differenziazione (a regime somministrazione ad inizio di a. s., testano conoscenze ed abilità acquisite nella scuola secondaria di I grado);

22. Quali criteri per la costruzione delle prove? (4/5) • per la classe III, diverso comportamento a seconda delle discipline: • Italiano, nessuna differenziazione perché si saggiano conoscenze ed abilità di base (linguistica e non “culturale”) che tutti gli studenti debbono possedere dopo 10 anni di scolarità; • Matematica, 2 forme della stessa prova: una di alfabetizzazione matematica (concetti di base, argomenti fondamentali ed applicazioni) ed una specialistica (prassi didattica consolidata, argomenti esplorati in profondità, liceo scientifico, ITI, ecc);

23. Quali criteri per la costruzione delle prove? (5/5) • per Scienze, 2 forme della stessa prova: una prova di alfabetizzazione scientifica (conoscenza ed abilità di carattere fondamentale); una specialistica che implica conoscenze ed abilità più specifiche (linguaggi specialistici) relative alla Chimica e Fisica (ITI e licei scientifici tecnologici).

24. Processo di costruzione prove • 1° fase, approntamento di un numero di quesiti superiore a quello necessario; • 2° fase, prova preliminare dei quesiti (pretesting o prova sul campo se si prova anche la procedura) su un campione di giudizio ed elaborazione statistica delle risposte; • 3° fase, approntamento prova definitiva guidata dalla lettura dei risultati (scarto dei quesiti meno “efficaci”, messa a punto dei distrattori, ecc.).

25. Pretesting : scelte (1/2) • Somministrazione in un campione di giudizio (facilità di somministrazione e massima collaborazione da parte dei somministratori), equilibrato sul territorio per I ciclo e presenza di numerosi indirizzi per scuola secondaria di II grado (classe III, 2 forme per matematica e scienze); • suddivisione dei quesiti in molti fascicoli (tempo di somministrazione basso) senza banalizzare, ad esempio in II primaria per matematica 4 test di 16-18 quesiti in 25 minuti, per italiano 3 test con una breve storia e 19 quesiti in 25 minuti;

26. Pretesting: scelte (2/2) • somministrati a metà novembre in una classe successiva a quella oggetto di rilevazione (III e V primaria, II secondaria di I grado, II e IV secondaria di II grado); • criteri di scelta: • per matematica e scienze, indice di facilità medio facile ed indice di discriminazione elevato; • per italiano, indice di consistenza interna elevato (testo con relativi quesiti); • eliminazione o modifica dei distrattori non funzionanti.

27. Matematica classe IV superiore fascicolo 3 Xcorrisponde a 1,2 casi

28. Matematica classe IV superiore fascicolo 4 Xcorrisponde a 1,4 casi

29. Rilevazione 2005 – Scuola Elementare e Media: composizione e tempi

30. Rilevazione 2005 – Scuola Secondaria Superiore composizione e tempi

31. I diversamente abili? • Per motori e sensoriali partecipazione alle prove con edizioni ad hoc (braille, caratteri ingranditi, ecc.) o accorgimenti in sede di somministrazione (insegnante di sostegno che conosce il linguaggio dei gesti, prolungamento della sessione di somministrazione, ecc.); • per gli intellettivi l’Istituzione scolastica prepara autonomamente le “prove”, anche attingendo dalle prove nazionali, e somministra in contemporanea. Mantiene le prove somministrate nel proprio archivio e non le invia all’INValSI.

32. Gli alunni con D.S.A.? • Ogni alunno possiede personali risorse e disabilità diverse per affrontare lettura, scrittura e calcolo; • si è chiesto in sede di conferma/iscrizione se presenti nella Is e di cosa si avvalgono abitualmente (lettore o strumenti compensativi); • consigli in sede di manuale di somministrazione (tempi più lunghi, presenza insegnante sostegno, lettore, ecc); • decisione Is cosa somministrare (numero inferiore di item, suddivisione della prova, ecc) • (C.M. 4099/P4°/Direzione generale per lo studente 5/10/2004).

33. Gli alunni di prima lingua diversa dalla lingua delle prove? (1/2) • Agli alunni di lingua tedesca di Bolzano verranno somministrate solo le prove di matematica e scienze in lingua; • agli alunni di lingua ladina di Bolzano verranno somministrate le prove di Italiano (II lingua), nella scuola primaria matematica e scienze in italiano e tedesco, nella scuola secondaria I e II grado matematica e scienze in tedesco; • agli alunni di lingua slovena di Gorizia e Trieste verranno somministrate solo le prove di matematica e scienze in lingua;

34. Gli alunni di prima lingua diversa dalla lingua delle prove? (2/2) • agli alunni di prima lingua diversa dalla lingua delle prove completamente integrati si dovranno somministrare le prove nazionali; • agli alunni di prima lingua diversa dalla lingua delle prove aventi problemi nella decodifica del messaggio scritto, l’Istituzione scolastica preparerà le prove, anche attingendo dalle prove nazionali (PP2, PP3), e somministrerà in contemporanea. Invierà tali prove dopo la somministrazione all’INValSI che costruirà un archivio.