Progetto SIVADIS Gli esiti del Monitoraggio del primo anno di sperimentazione

1. Progetto SIVADIS Gli esiti del Monitoraggio del primo anno di sperimentazione Valutazione/Formazione Perugia, 7 – 8 Febbraio 2005 Genny Terrinoni

2. Obiettivo strategico sviluppo del sistema delle scuole autonome Il concetto di valutazione nelle linee guida SIVADIS • il cambiamento e non il controllo Funzione prioritaria • miglioramento del servizio delle istituzioni scolastiche • sviluppo del ruolo professionale dei Dirigenti scolastici Valenza formativa • permette di rendere chiari e trasparenti ruoli e responsabilità degli attori Valenza organizzativa • confronto e dialogo tra Valutatori e valutati • partecipazione dei DS al processo di valutazione • pratica dell’autovalutazione Carattere negoziale

3. Rilevare elementi conoscitivi utili ad una progressiva regolazione del sistema valutativo in sperimentazione Obiettivi del Monitoraggio: Progetto SIVADIS e Monitoraggio Obiettivo dell’Amministrazione Utilizzare la sperimentazione per: “la costruzione di un sistema condiviso caratterizzato dalla crescita della cultura valutativa attraverso lo sforzo di elaborazione comune da parte di tutti gli attori del processo” Tempi Strumenti e Procedure Oggetto: Obiettivi e Indicatori Il Processo

4. Valutazione Valutazione come pratica sociale Funzione di promozione dei potenziali Leggibilità della professionalità e dell’identità professionale sviluppata Descrivibilità Formazione come compito di aiutare a rendere leggibile e descrivibile la professionalità Formazione Valutazione e Formazione Chiarezza e Trasparenza ruoli e responsabilità degli attori Confronto e dialogo Partecipazione Sviluppo cambiamento Miglioramento Pratica della autovalutazione

5. Punti di Riflessione sugli Attori del Processo Valutazione come pratica sociale: Confronto, Dialogo, Partecipazione, Sviluppo, Cambiamento, Miglioramento Mutamento di identità professionale Del Valutatore: Da controllo conformità (posizione), ad accompagnamento e mobilitazione di comportamenti innovativi (postura) Del Valutato: Da responsabilità Amministrative (posizione), a responsabilità di direzione estese e complesse che richiedono comportamenti innovativi (postura)

6. Trasformazione dell’identità professionale POSIZIONE: • Simbolizzazione del posto che occupa o che l’organizzazione gli assegna POSTURA: • Il modo in cui l’individuo sta in quella posizione specifica in termini attitudini e comportamenti: • Due persone che occupano lo stesso posto non funzionano alla stessa maniera . In funzione delle proprie prospettive traiettorie , le loro attese o la loro visione del mestiere , presentano una postura differente • L’identità professionale è il risultato di socializzazioni e di un processo ovvero di una costruzione in continua elaborazione e mai conclusa. Claude Dubar: “Le identità professionali e sociali tipiche non sono né espressioni psicologiche di personalità individuali né prodotti di strutture o di politiche che si impongono dall’alto, ma sono delle costruzioni sociali che implicano l’interazione tra traiettorie individuali diverse e sistemi di impiego e di lavoro e di formazione”

7. Punti di Riflessione sul Ruolo degli Strumenti Strumenti, Procedure: Descrivibilità, Leggibilità, Predisposizione alla Valutazione Capacità di fotografare la realtà Oggettività- misurazione Utilità limitata ad alcuni ambiti Incapacità di cogliere l’essenziale Capacità di sollecitare questioni essenziali all’esercizio della professione Favorire una descrizione adeguata del lavoro reale svolto Rendere leggibile il senso a livello intersoggettivo Renderlo valutabile

8. Punti di Riflessione su Obiettivi e Indicatori Descrizione e leggibilità della professione Metodologia per l’elaborazione Attribuzione di un significato condiviso e condivisibile Governo dell’alterazione della soggettività

9. Pluralità di Strumenti e Metodi di rilevazione • Questionari via internet per dirigenti scolastici e Valutatori, • Protocolli di osservazione strutturata dei moduli di formazione • Modalità d’interazione comunicativa telefonica • Raccolta informale di documentazione scritta relativa all’andamento del processo • Rilievo in itinere di particolari punti problematici • Due Focus Group con Dirigenti scolastici e con Valutatori di prima istanza in due Regioni

10. Novembre Dicembre Gennaio Marzo Aprile Maggio Giugno Luglio Ottobre Osservazione strutturata 3° modulo di formazione Rilevazione dati 2°questionario on line dirigenti valutatori Rilevazione dati 3°questionario on line dirigenti valutatori Osservazione strutturata 1° modulo di formazione Rilevazione dati 1° questionario on line dirigenti valutatori Osservazione strutturata 2° modulo di formazione Osserv. strutturata focus group dirigenti valutatori Rilevazione dati 1°e 2° questionario on line dirigenti scolastici Osservazione strutturata focus group dirigenti scolastici Rilevazione dati3° questionario on line dirigenti scolastici 2003 2004 Modello di Valutazione e Monitoraggio Analisi Obiettivi e Indicatori

11. Dati sul Processo: Giudizi dei Dirigenti Scolastici sul Colloquio Alle domande del questionario sul comportamento dei valutatori durante il colloquio di condivisione degli obiettivi, i dirigenti scolastici esprimono giudizi molto positivi Questionario Dirigenti Scolastici

12. Dati sul processo: Giudizio complessivo dei Dirigenti Scolastici sul Colloquio Soltanto 1,7% dei dirigenti esprime insoddisfazione per quanto riguarda il colloquio e il 97% dichiara che non vi è stata alcuna difficoltà. Questionario Dirigenti Scolastici

13. Descrizione del colloquio: I tre Aggettivi Il colloquio viene descritto come costruttivo e utile Questionario Dirigenti Scolastici

14. Colloquio: la Negoziazione RISPOSTE APERTE AL QUESTIONARIO E FOCUS GROUP

15. Colloquio: la Negoziazione FOCUS GROUP

16. Problemi nella Condivisione (Focus A e B) • I problemi più frequenti segnalati nella fase di colloquio di condivisione sono di natura • Metodologica: • difficoltà di definizione di obiettivi e indicatori • difficoltà di distinguere tra indicatori qualitativi e indicatori quantitativi • tendenza a "scegliersi le aree in cui si è più brillanti" aree valutative e obiettivi per area • 2. Quantitativa/qualitativa rispetto alle richieste (numero aree e numero obiettivi): • “Tre obiettivi di miglioramento per 5 aree in tre mesi (anche in 2 anni) indicano un'idea di scuola falsata o non ha capito niente di cosa vuol dire qualità attraverso progetti di miglioramento” • Parallelamente • Si auspica una formazione per i DS mirata a questi specifici bisogni formativi FOCUS GROUP

17. Giudizi sulle Informazioni Ricevute I dirigenti scolastici esprimono generalmente giudizi “intermedi” sulla “qualità” delle informazioni ricevute sul SIVADIS. Alpha = ,92 Questionario Dirigenti Scolastici

18. Informazioni dai Focus (A e B) • Focus A • sufficiente per i valutatori di prima istanza • insufficiente per i DS • l’azione di compensazione informativa per i DS è stata attuata dai valutatori. Si suggerisce • un coinvolgimento di tutti i DS per evitare una sorta di “autoselezione” e/o il “rischio di percezione di estraneità del sistemada parte dei DS” • si ritiene perciò “necessario il consenso da ricercarsi, non in un sottoinsieme coinvolto, main tutta la categoria” Focus B • Autoinformazione da parte dei DS connesso a dichiarazione di scelta di aderire per attribuzione valore importante alla valutazione anche con incidenza sulla retribuzione (valutare e monitorare è già formazione) FOCUS GROUP

19. Il Modello culturale di riferimento del SIVADIS • Squilibrio tra aspetti organizzativo-gestionali e pedagogico-didattici con prevalenza dei primi • La valutazione “deve avere come base la finalità di migliorare il processo di apprendimento/insegnamento” • Una impostazione aziendalistica tende a mettere in secondo piano la finalità educativa della scuola e dunque “va contrastata perché, se diventasse egemone minerebbe la nostra istituzione” • Giusto confrontarsi con una cultura altra (aziendalistica), tuttavia devono essere individuati i criteri di applicabilità al DS e alla specificità dell'organizzazione che dirige FOCUS

20. Giudizi complessivi sul Fascicolo Il 58% dei Dirigenti esprime un giudizio positivo sul FASCICOLO INDIVIDUALE DI VALUTAZIONE, mentre il 42% esprime un parere sul versante negativo della scala. Questionario Dirigenti Scolastici

21. Lo Strumento: Informazioni sulle risposte aperte dei Dirigenti scolastici FOCUS

22. Atteggiamenti sul SIVADIS I dirigenti scolastici che hanno risposto al questionario manifestano un atteggiamento molto positivo per quanto riguarda L’UTILITÀ E L’IMPORTANZA DEL PROGETTO SIVADIS. Si noti, tuttavia, che vi è un punteggio elevato anche per quanto riguarda la percezione che partecipare al progetto sia “faticoso” Questionario Dirigenti Scolastici

23. Il Colloquio di Condivisione La Valutazione Finale Obiettivi e Indicatori per Area Condivisi Le 5 Aree di Valutazione del Fascicolo Individuale Obiettivi e Indicatori Individuali per Area I Processi di Valutazione e di Monitoraggio Il Monitoraggio Analisi Obiettivi e Indicatori

24. Il Processo di Analisi nei 107 Fascicoli Le 5 Aree di Valutazione del Fascicolo Individuale Analisi della Forma Analisi del Contenuto Obiettivi e Indicatori per Area Condivisi Individuazione delle Categorie e Codifica Caratterizzazione Macro-Categorie di Contenuto 4 750 Obiettivi Condivisi 11 059 Indicatori Condivisi

25. Macro-Categorie di Contenuto Scopi Azioni Lettura Interpretativa Strumenti Caratterizzazione Ciò che è Obiettivo Ciò che non è Obiettivo Prospettive a Lungo Termine Riaggregazione di Obiettivi e Indicatori Azioni e Modalità delle Azioni Connesse ad Obiettivi e Indicatori Riaggregati Repertorio Il Processo di Analisi nei 107 Fascicoli

26. Il Processo di Analisi nei 200 FASCICOLI Analisi del Contenuto 1784 Obiettivi Condivisi 3835 Indicatori Condivisi Le 5 Aree di Valutazione del Fascicolo Individuale Obiettivi e Indicatori per Area Condivisi Analisi della Tipologia Obiettivi Finali(1602) Obiettivi Strumentali (482) Macro-Categorie di Contenuto Individuazione delle Categorie e Codifica

27. Obiettivo Azioni Il Processo di Analisi nei 200 Questionari Formulazione Analisi del Contenuto Macro-categorie di contenuto Tipologia e categorizzazione delle azioni Repertorio di azioni Associazione delle azioni a obiettivi ed indicatori per area valutativa Aggiornamento Repertorio

28. L’Analisi della Forma Obiettivi per Area Condivisi • L’Analisi ha evidenziato un significativo numero di Obiettivi la cui formulazione è caratterizzata da: • Sono emersi due aspetti interessanti • Uno “critico” di natura metodologica • Uno “potenzialmente positivo”, di recupero delle informazioni sincopate negli Obiettivi così come formulati • Recupero di: Azioni – Strumenti - Scopo Caratterizzazione Elevato livello di genericità Complessità logico- sintattica Fusione tra obiettivi, progetti, azioni Pluri-obiettivi

29. L’Analisi della Forma Indicatori per Area Condivisi • L’Analisi ha permesso di caratterizzare il complesso degli indicatori come: • indicatori con una fonte d’informazione semplice (indicatori semplici, con o senza soglia) • indicatori con una fonte d’informazione complessa (indicatori complessi, con o senza soglia) • indicatori per cui non è identificabile una fonte d’informazione Caratterizzazione Gradi di arbitrarietà eccessiva per l’osservazione / misurazione interpersonale Non sufficientemente vicinanza ad un piano empirico

30. Fonte d’informazione non identificabile 42% Semplici 41% Complessi 17% Risultati generali della classificazione degli indicatori nei 107 Fascicoli

31. Fonte d’informazione non identificabile 54% Semplici 36% Complessi 10% Risultati generali della classificazione degli indicatori nei 200 Questionari

32. Macro-Categorie di Contenuto Scopi Ciò che non è Obiettivo Lettura Interpretativa Lettura Interpretativa • Focalizzazione dei “ difetti di natura metodologico-formale” • Estrapolazione di informazioni rilevanti relative a dimensioni unitarie che sembrano essere alla base di obiettivi-indicatori ed azioni (visione unitaria e strategica del dirigente scolastico) • Riaggregazione degli obiettivi e degli indicatori contenuti nelle Macro-Categorie e delle azioni (precedentemente espunte dagli obiettivi) attorno a ciascuna delle nuove dimensioni unitarie che riducono il numero della Macro-Categorie a Tre Prospettive a Lungo Termine

33. Azioni Ciò che non è Obiettivo Azioni e Modalità delle Azioni Connesse ad Obiettivi e Indicatori Riaggregati Strumenti Lettura Interpretativa Azioni e Modalità • Focalizzazione dei “ difetti di natura metodologico-formale” • Isolamento di Azioni e Strumenti contenuti negli Obiettivi delle Macro-Categorie di Contenuto • Aggregazione di Azioni e Modalità dell’Azione attorno a Obiettivi e Indicatori sottoposti alle nuove Prospettive a Lungo Termine e congruenti con esse

34. Il Repertorio • L’insieme di: Obiettivi, Indicatori, Azioni e Modalità dell’Azione, ha permesso do elaborare questo primo Repertorio • Il Repertorio, pur presentando gli Obiettivi, gli Indicatori e le Azioni realmente presenti nei fascicoli individuali, è l’esito della ricongiunzione e della ridistrubuzione delle sei Macro-Categorie in nuclei differenti rispetto: • sia alle Aree Valutative Iniziali • Sia alle Macro-Categorie ottenute tramite l’Analisi di Contenuto

35. Il Repertorio • Non ha carattere “normativo” • Ha esclusivamente una funzione descrittiva • La categorizzazione è provvisoria e in via di modifica per l’analisi in corso di ulteriori 200 fascicoli • Offre una prima rappresentazione delle pratiche • Offre una serie di spunti di riflessione • Offre una serie di indicazioni per un approfondimento

36. Le Prospettive a Lungo Termine • Guidare l’insegnamento-apprendimento ed elevare gli standard • Assicurare attraverso la gestione di risorse umane, strumentali e finanziarie un'organizzazione idonea al raggiungimento di scopi e obiettivi della singola istituzione scolastica • Coinvolgimento dell’intera Comunità nel processo di formazione

37. Le Macro-Categorie di Contenuto nei 107 Fascicoli

38. Le Macro-Categorie di Contenuto nei 200 Questionari Permangono le Macro-categorie di contenuto individuate per i 107 Fascicoli di Valutazione Nei 200 questionari: individuate 3 Macro-categorie per descrivere nuovi contenuti emersi

39. 200 Questionari Micro-categorie relative al SUCCESSO SCOLASTICO E ALLA QUALITA’ DEI PROCESSI FORMATIVI

40. 200 Questionari Micro-categorie relative ai RAPPORTI CON LE FAMIGLIE E SODDISFAZIONE Micro-categorie relative al MONITORAGGIO e ALLA RICERCA CONOSCITIVA

41. 107 Fascicoli Micro-categorie relative al MIGLIORAMENTO DEI RAPPORTI CON IL TERRITORIO

42. 107 Fascicoli Micro-categorie relative adAMPLIAMENTO DELLE ATTIVITA' FORMATIVE E MIGLIORAMENTO DELLE METODOLOGIE DIDATTICHE

43. 107 Fascicoli Micro-categorie relative alla ORGANIZZAZIONE DEL LAVORO E CLIMA A SCUOLA

44. 107 Fascicoli Micro-categorie relative alla FORMAZIONE DEL PERSONALE

45. 107 Fascicoli Micro-categorie relative allaACQUISIZIONE E GESTIONE DELLE RISORSE FINANZIARIE

46. 107 Fascicoli Micro-categorie relative al MIGLIORAMENTO DELLE RISORSE STRUTTURALI E STRUMENTALI

47. Funzioni DS, aree di valutazione e obiettivi

48. Geografia della sperimentazione Composizione dei soggetti coinvolti nella sperimentazione del progetto SIVADIS2 *nel confronto non sono stati presi in considerazione i 97 D.S. della Regione Campania perché i nominativi non sono al momento stati inviati

49. Grafici Campione

50. Il Repertorio: Alcune Note • L’operazione interpretativa e la parallela organizzazione dei materiali del Repertorio sono state supportate da un Gruppo di Lavoro formale presso INValSI, costituito da quattro Dirigenti Scolatici • Il repertorio è un contributo che, in conformità con l’ottica che presiede alla sperimentazione del SIVADIS, è aperto ad interventi di modifica, approfondimento, arricchimento • Costituisce una prima base per la costruzione di punti di riferimento comuni e condivisi in ambito valutativo • Si presenta come stimolo per tutti i Soggetti coinvolti a prestare quella collaborazione e quel coinvolgimento che permettono la crescita di una cultura valutativa