Un confronto interregionale internazionale e un’analisi delle relazioni fra contesto e risultati

1. PISA 2006: L’ESPERIENZA DEL PIEMONTE E I RISULTATI DELLE REGIONI ITALIANE A CONFRONTO CON L’EUROPA Un confronto interregionale internazionale e un’analisi delle relazioni fra contesto e risultati Luciano Abburrà, Paola Borrione e Luisa Donato Seminario - LE LEZIONI DI PISA Torino, 1 Dicembre 2008

2. PREMESSA: Cos’è il Programme for International Student Assessment? ORGANIZZAZIONE PER LA COOPERAZIONE E LO SVILUPPO ECONOMICO

3. L’indagine PISA • Il Programme for International Student Assessment (PISA) è un ciclo di indagini promosse dall’OCSE. Lo scopo è una valutazione standardizzata a livello internazionale di ciò che sanno fare i quindicenni scolarizzati con le loro conoscenze e abilità (literacy) in alcuni ambiti ritenuti fondamentali: la lettura, la matematica, le scienze. • L’aspetto distintivo è di non essere una valutazione “scolastica” degli apprendimenti, poiché si concentra sulla capacità di servirsi delle conoscenze acquisite per affrontare prove “simili” ai compiti della vita quotidiana. • La valutazione avviene attraverso prove scritte strutturate che impegnano gli studenti per circa due ore. Quesiti a scelta multipla e altri in cui lo studente deve scrivere una risposta argomentata.

4. Perché PISA può essere importante anche per una regione? • Può consentire di misurare il livello reale di qualificazione dei propri adolescenti, lungo una scala “internazionale” quanto il mondo in cui dovranno crescere, lavorare, vivere • Può dare indicazioni ai responsabili locali del sistema formativo e delle autonomie scolastiche su quali competenze essenziali debbano essere oggetto d’attenzione o perché poco sviluppate o perché distribuite in modi troppo diseguali tra individui, scuole, indirizzi • Può orientare la ricerca di soluzioni verso quelle rivelatesi più efficaci in altri contesti, nazionali o regionali, o verso i fattori che si rivelino particolarmente influenti sui risultati (migliori o peggiori)

5. Quale “valore aggiunto” da un’analisi comparativa inter-regionaleestesa a scala internazionale? • Può cambiare l’immagine delle realtà nazionali prodotte dalle comparazioni fra Paesi • Può mettere in discussione giudizi e far riconsiderare spiegazioni apparentemente ovvie • Può mettere in luce margini di variabilità interna ai singoli paesi, che rivelano possibilità di miglioramento prima non riconosciute

6. PISA 2006: Punteggio medio dell’Italia, di alcuni Paesi e dell’OCSE. Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

7. PISA 2006: Distribuzione % studenti sulla scala di competenze in scienze Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

8. PISA 2003: punteggio medio in matematica, delle macro-aree d’Italia e dell’OCSE Fonte: base dati PISA/OCSE – elaborazione IRES Piemonte, 2005

9. PISA 2006: punteggio medio in scienze delle macro-aree d’Italia e dell’OCSE Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

10. PISA 2006: Confronto interregionale dei risultati medi in scienze Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

11. Campione degli studenti PISA 2006 in Italia articolato per indirizzo di studio Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

12. Confronto tra le medie fornite dall'OCSE e le medie ricalcolate per ogni ambito di indagine Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

13. PISA 2006 Confronto interregionale dei risultati medi in scienze con campioni omogenei Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

14. PISA 2006: Confronto interregionale internazionale dei punteggi medi in scienze Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

15. PISA 2006: Confronto interregionale internazionale dei punteggi medi in matematica Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

16. PISA 2006: Confronto interregionale internazionale dei punteggi medi in lettura Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

17. UNA PRIMA VALUTAZIONE:L’analisi comparativa a scala regionale europea conferma che non è vero che gli studenti “italiani” ottengono risultati sistematicamente inferiori agli altri: • In grandi e popolose regioni del centro-nord i risultati medi risultano in linea con quelli dei coetanei di altre regioni europee • In alcuni ambiti di competenza le regioni italiane sembrano addirittura posizionarsi meglio • In matematica vanno meno bene

18. PISA 2006: Distribuzione % studenti sulla scala di competenza in scienze Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

19. Differenze nei risultati medi in matematica tra PISA 2006 e PISA 2003 Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

20. Differenze nei risultati medi in lettura traPISA 2006 e PISA 2003 Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

21. PISA 2006: Risultati medi in scienze, matematica e lettura per indirizzo di studio in Italia Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

22. PISA 2006: Confronto interregionale dei risultati medi in scienze per indirizzo di studio Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

23. PISA 2006: Confronto interregionale dei risultati medi in matematica per indirizzo di studio Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

24. PISA 2006: Confronto interregionale dei risultati medi in lettura per indirizzo di studio Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

25. PISA 2006: Il Piemonte e il Veneto a confronto sulla scala di scienze

26. I licei di Piemonte e Veneto a confronto sulla scala di scienze in PISA 2006

27. Gli istituti tecnici di Piemonte e Veneto a confronto in scienze in PISA 2006

28. PISA 2006: Gli istituti professionali di Piemonte e Veneto a confronto in scienze

29. Alcune considerazioni riassuntive • I risultati dell’indagine PISA 2006 confermano il buon posizionamento a livello internazionale delle regioni italiane del Nord. • Le regioni del Nord Est si confermano quelle in cui gli studenti riescono ad acquisire competenze migliori, sia grazie al contenimento dei risultati meno buoni, sia grazie a più ampie quote di risultati elevati. Ciò le differenzia in positivo anche dalle regioni del Nordovest. • Rispetto all’indagine precedente, si confermano le differenze dei risultati per ambito di competenza: la matematica si conferma l’ambito di maggior debolezza, la lettura quello di maggior forza delle regioni nel Nord e del Piemonte in particolare.

30. Altre considerazioni riassuntive • Si confermano sistematiche differenze tra studenti che frequentano indirizzi di studio diversi. Tali differenze non sono imputabili alle scuole cui gli studenti sono iscritti al momento dell’indagine, ma alla preparazione precedente e ad effetti di autoselezione nelle scelted’indirizzo dopo la scuola media. • Un dato interessante è che gli istituti tecnici mostrano performance medie piuttosto buone, spesso simili a quelle dei licei. Non ha quindi alcun senso assimilare in un giudizio comune allievi di istituti tecnici e professionali, in contrapposizione ai licei.

31. Una priorità problematica emerge, anche per le regioni più avanzate: • Innalzare i livelli di qualificazione di quel 25% di ragazze e ragazzi che, uscendo dall’”obbligo” con competenze inadeguate, vengono dirottati verso la istruzione-formazione professionale, intesa come percorso “meno esigente”, anziché come via alternativa ad una qualificazione di base che dovrebbe essere equivalente

32. PISA 2006le Competenze in Scienze Le disparità nei risultati: una prima esplorazione dei fattori esplicativi Luciano Abburrà, Paola Borrione e Luisa Donato Seminario – LE LEZIONI DI PISA Torino, 1 Dicembre 2008

33. Livello Studente Lo status socioeconomico e culturale familiare Il genere L’essere nativo del paese di somministrazione del test Il grado di interesse per lo studio delle scienze Il grado di divertimento nell’apprendere le scienze Livello Scuola L’indice di status socioeconomico e culturale medio della scuola L’ubicazione della scuola La dimensione della scuola Il tipo di indirizzo frequentato Il livello di competizione tra scuole Il tempo medio di scuola per lezioni supplementari Il tempo medio di scuola per studio e compiti La proporzione di insegnanti con abilitazione all’insegnamento Il rapporto insegnanti/studenti Analisi statistica delle relazioni fra fattori e risultati: i modelli multilevel.Le variabili esplicative a livello studente e a livello scuola

34. Modello di analisi multilivello per il Piemonte: livelli studenti e scuola Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte * non significativa (0.05)

35. Confronto interregionale tra modelli multilivello: livello studenti Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

36. Confronto interregionale tra modelli multilivello: livello scuola Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

37. Confronto interregionale tra modelli multilivello: livello scuola Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte

38. Alcune riflessioni • L’analisi dei dati PISA 2006, anche per i mutamenti del questionario, ha proposto chiavi di lettura meno nette rispetto al 2003: allora il genere, la familiarità con le tecnologie della comunicazione e informazione e il clima disciplinare delle scuole erano emersi come fattori forti di spiegazione delle differenze di risultato. • L’analisi multilivello ha comunque messo in luce un gruppo di fattori associati con i risultati degli studenti: l’essere nati nel paese del test, alcuni indici motivazionali, lo status socio economico e culturale medio della scuola, l’indirizzo di studio (per I.P.). • Per alcuni fra tali fattori, il peso risulta differente da regione a regione sia nel contesto nazionale che internazionale: su di essi si potrebbe approfondire l’analisi, per individuare politiche per migliorare le performance degli studenti

39. Interrogativi di ricerca • Perché un sistema scolastico unico (dalle elementari alle medie) produce disparità così ampie nei risultati degli studenti? Tale interrogativo non trova risposta nei dati dell’Indagine PISA. • Vi sono regioni in Italia – come il Veneto e il Friuli Venezia Giulia - che riescono meglio di altre a contenere le differenze tra i risultati degli studenti e ad avere risultati medi più elevati. Quali sono i fattori differenziali che agiscono in tali situazioni? • Quali sono le caratteristiche personali degli studenti che, insieme alle proprietà del contesto scolastico, si associano ad un migliore apprendimento delle scienze?

40. Per saperne di più: • www.sisform.piemonte.it

41. Le capacità esplicative dei modelli: la varianza “spiegata” nelle diverse regioni Fonte: Base Dati OCSE/PISA 2006 elaborazione Ires Piemonte