Pisa 2006: Approfondimenti tematici e metodologici

1. Pisa 2006: Approfondimenti tematici e metodologici

2. Gli Obiettivi di PISA • Monitoraggio triennale di un segmento rappresentativo delle competenze attese negli ambiti della comprensione dei testi scritti, della literacy matematica, di quella scientifica. • Analisi dei risultati in funzione di caratteristiche degli alunni e delle scuole all’interno dei contesti più ampi (in assenza di alcuna considerazione dei risultati dei singoli) • Valutazione comparativa tra contesti locali (regionali-nazionali)

3. Quello che tutti vogliono sapere

4. Risultati in scienze (livelli) in PISA 2006

5. La valutazione comparativa ha una sua rilevanza, ma solo se viene inserita in un contesto di analisi più complesse che permette di spiegare le differenze in termini dei fattori, possibilmente modificabili, che ne sono alla base.

6. Aspetti Metodologici 1: “Misurare le Scienze”

7. Definizioni operative " Il nuovo atteggiamento verso i concetti è del tutto differente. Possiamo illustrarlo prendendo in considerazione il concetto di lunghezza. Cosa intendiamo per lunghezza di un oggetto? Evidentemente sappiamo che cosa intendiamo per lunghezza se possiamo dire qual'è la lunghezza di qualunque oggetto, ed al fisico non occorre niente di più. Per trovare la lunghezza di un oggetto, dobbiamo compiere certe operazioni fisiche. Il concetto di lunghezza risulta pertanto fissato quando sono fissate le operazioni mediante cui la lunghezza si misura; vale a dire, il concetto di lunghezza implica né più né meno che il gruppo di operazioni con cui la lunghezza si determina. In generale, per concetto noi non intendiamo altro che un gruppo di operazioni; il concetto è sinonimo del corrispondente gruppo di operazioni"  Percy W. Bridgman. The LogicofModernPhysics (1927)

8. Definizione del’area d’interesse Livello più astratto: Le scienze. ASTRATTO Livello intermedio Indicatore A Indicatore B Indicatore C Livello operazioni concrete (Es. variabile su cui vengono registrate le risposte alla domanda) CONCRETO variabili variabili variabili Dalle scienze alle domande

9. Il livello intermedio • Le conoscenze scientifiche e la capacità di usarle per spiegare i fenomeni e per trarre conclusioni basate sulle evidenze • La comprensione della scienza come forma di conoscenza • La consapevolezza del ruolo delle scienze • La volontà di impegnarsi in problemi che implicano nozioni a carattere scientifico

10. Il livello delle operazioni concrete: Le domande. • Adattare il materiale • Porre cura e attenzione alle domande troppo connotate culturalmente • Scartare gli item su cui si riscontrano comportamenti diversi nei diversi contesti • Esiste una analisi della invarianza delle misure nei diversi contesti regionali? • Qual è il modo migliore per costruire indicatori capaci di esprimere sinteticamente informazioni di di natura complessa che siano validi e attendibili?

11. I TEMI DI NATURA PSICOMETRICA SONO AFFRONTATI ANCHE NEL VOLUME. AD ESEMPIO…. Di Chiacchio e Mayer mettono in evidenza la necessità di avere indici relativi al processo di apprendimento-insegnamento e sulla difficoltà di avere tali indici Il contributo di Corni e Mariani riflette la condivisibile esigenza di identificare nuovi indicatori utili ai fini della valutazione dell’efficacia dell’insegnamento. Nel lavoro viene descritta la costruzione e l’applicazione di uno specifico metodo per l’analisi delle risposte alle domande del PISA basato sulla concentrazione delle risposte tra le diverse alternative. Il contributo è particolarmente interessante e da spunto al lettore a tutta una serie possibile di applicazioni che si riferiscono sia ai dati del PISA che ad altri possibili data set nello stesso ambito. Quintano, Castellano e Longobardi propongono un indicatore motivazionale basato su la rielaborazione di indicatori della collaborazione dei rispondenti. Anche in questo caso la misura ha, potenzialmente, un valore euristico che prescinde dalle finalità dello studio presentato. Borrione affronta il problema della misura dell’empowerment Asquini e Corsini i temi della sottoscale relative alla lettura

12. Aspetti Metodologici 2: “Analizzare le Scienze”

13. Le differenze

14. La variabilità tra contesti e l’impatto di alcune variabili su di essa

16. Le regressioni multilevel sono IL modello di analisi che caratterizza la maggior parte dei contributi empirici del volume In quello di Alivernini, Losito e Palmerio i metodi di analisi si combinano, dapprima alla ricerca di gruppi classificati ad albero per diversi livelli di omogeneità sul piano delle competenze, poi la regressione multilevel viene condotta nel tentativo di identificare i fattori che incidono di più sulle competenze scientifiche dentro le scuole e fra le scuole. Quintano, Castellano e Longobardi usano la strategia multilevel per indagare il ruolo degli aspetti motivazionali dopo aver controllato per variabili sia a livello dello studente che a livello della scuola. Il contributo di Borrione enfatizza la rilevanza del sistema sociale ed economico regionale valutando l’impatto delle opportunità di empowerment sui risultati. Gentile e Borrione analizzano l’impatto dei diversi percorsi di istruzione Martini e Zaccarin guardano al genere e alla sua interazione con il percorso intrapreso.

18. Pareggiando gli aspetti “strutturali”, le scuole contano tot, pareggiando anche gli “aspetti scolastici”, gli individui contano tot….. • 2) Pareggiando gli aspetti “scolastici”, gli aspetti “strutturali”, contano tot, pareggiando anche gli aspetti strutturali, gli individui contano tot….. • 3) Pareggiando le differenze individuali, gli aspetti “strutturali” contano tot, pareggiando anche quelli, le scuole contano tot • Sono informazioni cruciali • ma….. • cambiando l’ordine dei livelli il risultato potrebbe cambiare!

19. Grazie ai contributi del volume alcuni aspetti emergono con chiarezza ancora maggiore • Vi è la necessità di stabilire con chiarezza l’unità di analisi. Unità di analisi diverse danno luogo a domande diverse che, ovviamente, danno luogo a risposte differenti • 2) Vi è la necessità di compiere le scelte nella gerarchia dei livelli entro un piano strategico esplicitato a priori: di quali variabili voglio controllare gli effetti e di quali voglio stimare l’impatto? • 3) Vi è la necessità di non confondere correlazioni con rapporti causali

20. Aspetti Metodologici 3: “Disegnare le Scienze”

21. La necessità di studi longitudinali Solo gli aspetti di disegno rendono possibile lo stabilirsi di relazioni causali. Esse sono potenzialmente diverse tra i diversi contesti nazionali, perché diverse possono essere le ragioni di iniquità.

22. Grazie per la vostra attenzione