Storia della valutazione

1. Storia della valutazione Antonella Rissotto Laboratorio professionalizzante su “Analisi valutativa di un servizio sociale” antonella.rissotto@istc.cnr.it

2. La valutazione così come la conosciamo noi è il risultato dello sviluppo di un processo di costruzione sociale dovuto a un insieme di influenze. Storia della valutazione

3. Di seguito sono presentati, seguendo una sequenza temporale, diversi approcci alla valutazione. • I diversi approcci sono ancora oggi adottati per la realizzazione di ricerche valutative in ambito sociale. • La scelta dell’approccio nell’ambito del quale verrà realizzata una ricerca valutativa è particolarmente importante perché questo influenzerà gli obiettivi della valutazione, il ruolo del valutatore, il tipo di metodologia adottata. Storia della valutazione

4. Rice (1897) The futilityof the spelling grind (la futilità della fatica per lo spelling) ed è il primo tentativo di valutazione degli apprendimenti degli studenti. Valutazione di 1° generazione

5. Binet (1912) Quoziente d'intelligenza: rapporto tra l’età mentale raggiunta dal soggetto e la sua età cronologica. Valutazione di 1° generazione

6. Arthur Otis(1915) realizzare uno screening per individuare le persone che potevano essere arruolate per combattere negli eserciti impegnati nella prima guerra mondiale. Valutazione di 1° generazione

7. Altre influenze • John Stuart Mill(1843) di applicare l'approccio scientifico allo studio dei fenomeni umani e sociali. • La teoria dell'evoluzione proposta da Darwin aveva messo in evidenza e piccole differenze nelle caratteristiche delle specie animali e quindi anche per gli esseri umani potevano essere importanti per la comprensione di grandi cambiamenti che si erano verificati nella storia della specie. • Mill e Darwin favorirono indirettamente la nascita di laboratori di psicometria. Valutazione di 1° generazione

8. Durante i primi decenni del 900 i termini valutazione e misurazione sono stati usati in modo intercambiabile per questo la valutazione di prima generazione può essere chiamata legittimamente generazione della misurazione. • Il ruolo del valutatore è quello di un tecnico che conosce tutti gli strumenti disponibili oppure se non ce ne sono di appropriati è in grado di crearli. • È ancora in uso (ad esempio i test di ingresso a corsi di laurea). Valutazione di 1° generazione

9. Dopo la prima guerra mondiale è diventato evidente che i curricoli scolastici dovevano essere sottoposti a una drammatica revisione. La valutazione che mette a disposizione solo dati inerenti gli studenti non può soddisfare i nuovi scopi. Erano necessari approcci, strumenti e metodologie per valutare programmi • La scuola secondaria in quegli anni era ingessata nel Carniegeschool system che specificava il tipo e il numero di lezioni richieste per conseguire il diploma. I curricoli erano molto stretti e rigidi ed essenzialmente preparavano i giovani per il college. Valutazione di 2° generazione

10. EightYearStudy • Tyler (1939) aveva il compito di realizzare uno studio per perfezionare lo sviluppo dei curricoli ed essere sicuri che consentissero di raggiungere gli obiettivi desiderati (coincidenti con gli apprendimenti ipotizzati/attesi dagli insegnanti). • Valutazione di programmi. Tyler raccolse informazioni sul grado di raggiungimento degli obiettivi negli studenti associando queste informazioni con un'analisi dei punti di forza e di debolezza dei programmi. Valutazione di 2° generazione

11. Adotta quindi un approccio caratterizzato dalla descrizione di pattern i punti di forza e di debolezza in relazione ad obiettivi prefissati. • Il valutatoredeve descrivere l’evaluando anche se continua a dover possedere le competenze tecniche che venivano riconosciute al valutatore della prima generazione. La misurazione non è più considerata un equivalente della valutazione ma uno dei molti strumenti che possono essere usati nel corso di una valutazione. Valutazione di 2° generazione

12. Nella valutazione di 2° generazione la valutazione non produce dei risultati fino a quando il programma non è stato completamente sviluppato: se la realizzazione dell’intervento/servizio mostrava delle deficienze in molti casi era troppo tardi per fare qualunque cosa. • post Sputnik: l’approccio della valutazione di 2° generazione (poiché descrittivo) si dimostrò inadeguato al compito di valutare la risposta del governo federale alle deficienze del sistema educativo americano che avevano permesso ai russi di guadagnare un nuovo confine nell'esplorazione dello spazio. • Il cambiamento verso una nuova forma di valutazione non fu facile soprattutto a causa della resistenza dei tecnici coinvolti nello sviluppo dei progetti a definire chiaramente gli obiettivi dei progetti stessi. Valutazione di 2° generazione: limiti

13. La richiesta di includere il giudizio nella valutazione segna la nascita della valutazione di terza generazione (Robert Stake 1976), caratterizzata dallo sforzo di produrre giudizi e del fatto che il valutatore assume il ruolo di giudice e continua a possedere nozioni sia tecniche che descrittive. Valutazione di 3° generazione

14. Difficoltà. Il giudizio come è stato messo in evidenza da Stakerichiedestandard rispetto ai quali il giudizio può essere formulato. Gli standard tuttavia devono essere guidati da valori mentre la valutazione è considerata un’impresa apparentemente indipendente dalla dimensione valoriale. Molti valutatori non si sentivano competenti come giudici (anche vulnerabilità politica). • Nuovi modelli di valutazione scaturirono a partire dalla fine degli anni ‘60. Tutti concordavano su un punto: il giudizio era una parte integrante della valutazione anche se c'erano delle differenze nel grado in cui i valutatori rappresentavano se stessi come dei giudici. Valutazione di 3° generazione

15. Ognuno dei tre approcci rappresenta una delle tappe rispetto ai contenuti ed al livello di complessità che la valutazione ha assunto. La raccolta sistematica di dati sui singoli individui non era possibile fino a quando non sono stati sviluppati degli strumenti di ricerca appropriati. • La valutazione di seconda generazione ha preso in considerazione la possibilità di valutare degli evaluandi non umani ad esempio i programmi. • La valutazione di terza generazione richiedeva che la valutazione conducesse ad un giudizio sia rispetto al merito (merit valore intrinseco) dell'evaluando sia rispetto al valore (worth valore estrinseco). • Tutti e tre gli approcci alla valutazione avevano però dei limiti. L’evoluzione della valutazione

16. Il termine manager si associa in genere a quello di committente o sponsor che commissionano/finanziano una valutazione ma anche a una leadership personale a cui si riferiscono gli attori che sono responsabili per la realizzazione dell'evaluando. È il manager che in genere contratta la valutazione. Questa relazione tradizionale tra manager e il valutatore è raramente messa in discussione e quindi il manager rimane all'esterno della valutazione e le sue qualità e pratiche manageriali non vengono messe in questione. • La relazione manager valutatore è unfair e disempowering. Il manager ha il potere di determinare quali domande la valutazione dovrà seguire, come le risposte saranno raccolte e interpretate e come i risultati saranno diffusi. Il valutatore può decidere se accettare o rifiutare di condurre la valutazione. Tendenza verso il managerialismo

17. I membri di una società sono accomunati da un insieme di valori • Negli ultimi 50 anni è diventato evidente che le società sono pluralistiche dal punto di vista dei valori (conflitti associati alle diversità etniche o di genere, diversità generazionale). • La valutazione è radicata nel termine valore. La questione quindi è su quali valori si dovrebbe orientare una valutazione oppure ancora come possono essere negoziate le differenze nei valori. • I risultati di una valutazione possono essere affidabili perché la metodologia usata (metodo scientifico) è indipendente dai valori? In realtà non solo i risultati sono soggetti a differenti interpretazioni ma anche i fatti stessi sono definiti in relazione al sistema di valori del valutatore. Da questo punto di vista ogni azione di valutazione diventa un'azione politica. Il pluralismo dei valori

18. Mutuare l'approccio razionale e sistemico proprio delle scienze fisiche: • c'è una realtà obiettiva e questa realtà opera in accordo con certe leggi immutabili. • la scienza deve descrivere realtà e scoprirne le leggi. Una volta che è stato fatto ciò la scienza può essere utilizzata per la controllare la natura a vantaggio dell'uomo poiché gli uomini sarebbero diventati capaci di predire e controllare a piacimento la natura. • ogni ricerca conduce verso una maggiore comprensione. • il ricercatore deve essere esterno ai fenomeni che sta studiando per non influenzarli o da non essere influenzato da essi. • La complessità della realtà deve essere controllata per evitare di compromettere i risultati. Aderenza al paradigma di indagine

19. Generalizzabilità. Il tentativo di eliminare dalla ricerca valutativa dati inerenti specificicontesti per ottenere dei risultati più generalizzabili è una delle cause che ha prodotto il non utilizzo dei risultati delle valutazioni stesse. • Eccessiva dipendenza dall'approccio quantitativo: spesso gli strumenti che sono costruiti per la misurazione nel tempo acquistano una vita propria; quello che non può essere misurato non può essere vero. • Rinforza le tendenze manageriali: c’è un punto di vista privilegiato.Taglia fuori dei modi alternativi di pensare all'evaluando. Aderenza al paradigma di indagine

20. EgonGuba e Yvonna Lincoln (1989) considerano la valutazione come un’attività riferibile ad un processo sociale mutevole, con cui i valutatori si relazionano. Valutazione di 4° generazione

21. Uno scopo della valutazione è la promozione dello sviluppo di capacità degli utilizzatori (stakeholders o beneficiari). Si pone attenzione al contributo dei vari attori e a cosa un programma diventa mentre viene attuato, piuttosto che come è stato disegnato. Solamente dopo aver osservato come il programma affronta i problemi, dopo averlo confrontato con altre situazioni e aver sentito l’opinione dei vari stakeholders che si può formulare un giudizio su cosa funzione bene o cosa funziona male e su cosa può essere considerato un successo (anche in virtù di effetti inattesi). Valutazione di 4° generazione