Modelli di valutazione per stimare gli effetti dei progetti nazionali

1. Modelli di valutazione per stimare gli effetti dei progetti nazionali sugli apprendimenti degli studenti Vidoni Daniele, INVALSI, daniele.vidoni@invalsi.it Project fundedby: Programmazione dei Fondi Strutturali Europei 2007-2013 – Programma Operativo Nazionale “Competenze per lo sviluppo” – FSE -2007-IT 05 1 PO 007

2. La domanda a cui rispondere: Qual è l’efficacia degli interventi implementati? Ovvero… Gli interventi sono in grado di produrre gli effetti desiderati ex ante? Rispondere a questa domanda richiede una accurata misurazione degli effetti dell’intervento ex post (cioè dopo la messa in atto) e implica la volontà di associare l’implementazione di un intervento pubblico alla valutazione dei suoi effetti.

3. Il problema sotteso: L’ATTRIBUZIONE CAUSALE definizione controfattuale di effetto: l’effetto di un intervento è la differenza tra quanto si osserva in presenza dell’intervento e quanto si sarebbe osservato in sua assenza.

4. Trappole concettuali: Attribuire alla politica il merito del cambiamento osservato nel fenomeno tra prima e dopo la sua implementazione. Attenzione! Non tutto ciò che accade dopo qualcosa accade a causa di quel qualcosa, poiché il fenomeno di interesse può avere una sua dinamica spontanea. Attribuire alla politica differenze osservate nel fenomeno di interesse tra esposti e non esposti. Attenzione! Questo ci espone al problema di possibili differenze nella composizione dei due gruppi, che avrebbero potuto causare differenze nei risultati anche in assenza della politica.

5. Possibili strade da seguire: Esperimenti randomizzati Soluzioni non sperimentali Garantisce l’equivalenza tra i due gruppi ma difficile da applicare per: • problemi etici oresistenze culturali; • concretagestione degli esclusi (che devono rimanere tali: serve collaborazione da parte di chi eroga il trattamento); • vincoli legali; • prassi amministrative consolidate. Permettono di ricostruire ex post l’equivalenza tra i due gruppi. Problemi: • Effettiva disponibilità delle necessarie informazioni per matching in termini di apprendimenti, caratteristiche demografiche, altre caratteristiche.

6. Cosa fa INVALSI in questo senso: Esperimenti randomizzati Soluzioni non sperimentali • Valutazione.M@t.abel+ • Valutazione PQM • Valutazione effetto fondi PON

7. Valutazione.M@t.abel 7 M@t.abel: Matematica. Apprendimenti di Base con e-learning Formazione nazionale potenziata e rivolta in questa versione agli insegnanti delle Regioni PON (Calabria, Campania, Puglia, Sicilia).

8. Il caso di PON M@t.abel+: la logica dell’intervento Scarso rendimento in matematica degli studenti (PISA) 8 Nuova didattica in classe da parte degli insegnanti Formazione degli insegnanti Problema risolvibile con nuove modalità di insegnamento centrate sull’applicazione delle nozioni a casi concreti Miglior atteggiamento e rendimento degli studenti in matematica

9. La logica dell’esperimento: in cosa consiste Vogliamo vedere se una data politica è pubblica è in grado di modificare una grandezza di interesse: confrontiamo due gruppi identici, uno che ha ricevuto la politica e uno che non l’ha ricevuta. INTERVENTO RANDOMIZZAZIONE Mandati al trattamento Confrontiamo quindi sulla grandezza di interesse i trattati e i non trattati: la differenza è l’effetto della politica Potenziali beneficiari Gruppo di controllo

10. Il caso di PON M@t.abel+: l’intervento La formazione è blended e strutturata in quattro fasi: 1.incontri introduttivi in presenza con il tutor; 2.incontri on line sulla piattaforma e scelta delle unità didattiche; 3.sperimentazione in classe con assistenza on line del tutor; 4. incontro finale e consegna del diario di bordo da parte degli insegnanti. 10 C’è una piattaforma con 28 unità didattiche rivolte alla scuola secondaria di primo grado (una sorta di “sceneggiatura” con forte enfasi sugli aspetti applicativi della matematica e materiali di supporto). Gli insegnanti devono testare in classe 4 unità didattiche, redigendo un diario di bordo e discutendo on line della sperimentazione con il tutor e con gli altri insegnanti della stasse classe virtuale di formazione.

11. Il caso di PON M@t.abel+: il disegno di valutazione dell’intervento Randomizzazione delle scuole iscritte con dilazione del trattamento per il gruppo di controllo. Y: abilità in matematica degli studenti (test modello SNV). Potenziali beneficiari RANDOMIZZAZIONE

12. Effettomediosulleconoscenzematematiche – ciascunlivello 6th grade 7th grade 8th grade

13. Differenzetraatteggiamenti e approcciodidatticodegliinsegnanti (gruppotrattato e gruppo di controllo) Note: (a) the null hypothesis is difference in means negative; in all other cases the null hypothesis is difference is equal to zero. The symbols ***, **, * indicate that differences in means are statistically significant at the 1, 5, and 10 percent level.

14. Risposte preliminari… • I risultatipreliminarisuggerisconoche, nell’anno in cui la formazionevieneseguita, ilprogramma M@t.abel non sortisceeffettistatisticamentesignificativi. • Si tratta di un risultatocoerente con la letteratura in quanto un cambiamentodell’approcciodidattico del docenterichiede tempo; • Per questo, al fine di testareeffetti di medioperiodo, ilprogetto ha duratatriennale. • Vi sonoalcunedifferenzenell’approcciodidatticodegliinsegnanti e questedifferenzepotrebberocondurre a differenzenegliapprendimentinegliannisuccessivi.

15. …e nuove domande da esplorare… • Qual’èl’effetto di M@t.abel sull’attitudinedeglistudenti verso la matematica? • C’è un problema di self-selection nellescuoleche non hannocollaborato del tuttoallaraccoltadati? • Se così fosse, glieffetti di M@t.abel sonostatidiluiti e quindipotrebbeessere utile modificarel’intevento per migliorare la partecipazione di colorochesiiscriveranno in futuro? • Chi dovrebberoessereibeneficiaridell’intervento? • Vistochel’età è un fattorerilevante per la partecipazione, ilfattocheilprogrammasirivolga a docenti di ruolo – quindi di normapiùanziani – potrebbeesseremesso in discussione. Allostessomodo, se l’uso del computer è abbastanzacollegatoall’età, potrebbeesser utile assicurarsicheipartecipantiabbianosufficienticonoscenzeinformatiche prima di iscriverli a questiprogrammi.

16. Soluzioni non sperimentali • Valutazione PQM • Valutazione effetto fondi PON

17. Disegno di valutazione PQM • La policy: Formazionedisciplinare in matematica e promozione dell’utilizzo di informazioni standardizzate a fini diagnostici. • Proposta valutativa: • Per tutte le classi (PQM e non) di tutte le scuole esiste una misura d’ingresso (Test SNV 2009-10) • In ogni scuola identificherà come classi di controllo le classi che hanno il profilo più simile alle classi PQM in termini di: • Tempo medio delle lezioni; • Regolarità; • Livello medio degli apprendimenti degli studenti come rilevato dal SNV 2009-10; • Livello medio di status socioculturale familiare (SCS) degli studenti per classe; • Sesso (% femmine); • Origine (% nati in Italia). • Ognuna delle classi individuate sosterrà la prova INVALSI PQM 2010-11… oggi! Con i necessari caveat, il confronto del livello medio dei risultati degli studenti delle classi PQM rispetto ai risultati degli studenti delle classi di controllo potrà fornire una prima approssimazione relativamente all’effetto del progetto PQM

18. Disegni di valutazione per la stima dell’effetto dei fondi PON - 1 Scuole simili (per contesto e tipo di popolazione studentesca) NO Fondi PON Fondi PON Quasi esperimenti: Stime locali

19. Disegni di valutazione per la stima dell’effetto dei fondi PON - 2 Trend 2003-2009 Matematica - Italia Risultati in crescita nelle regioni PON Fonte: INVALSI (2009), Rapporto Nazionale Pisa 2009 - http://www.invalsi.it/invalsi/ri/pisa2009.php?page=pisa2009_it_09

20. Disegni di valutazione per la stima dell’effetto dei fondi PON - 2 • Analisi secondarie con metodologie di matching • Quante delle scuole del campione PISA fruiscono di fondi strutturali? • Coeteris paribus, ci sono differenze tra scuole PISA PON e NON PON? • Come si comportano a 2 anni di distanza in base a prove SNV – II SSSG a.s. 2010-11? Fonte: INVALSI (2009), Rapporto Nazionale Pisa 2009 - http://www.invalsi.it/invalsi/ri/pisa2009.php?page=pisa2009_it_09

21. GRAZIE