Meningsfuld evaluering

1. Meningsfuld evaluering Marselisborg Gymnasium 27.september 2007 PIP

2. Præsentation af Håkon • Cand.mag i hist & ps • Master – ledelse & organisation • Pæd. udviklingsarbejder, projekt-ledelse, samarbejdsprojekter, evalueringer, kompetenceudvikling osv.osv • Evalueringskonsulent JCVU • Sammenhæng ml undervisningsevaluering og organisationsevaluering (gymnasiet og Fsk) HG/ JCVU

3. Oplægget handler om.. • Introduktion til evaluering • STX bekendtgørelsen og kvalitetsudvikling og resultatvurdering • ’Barometermodellen’ • et eksempel på grundforløbsbarometer • et eksempel på integration af barometret, jf. bekendtgørelserne • Undervisningsevaluering ud fra barometer • Gruppearbejde (?) HG/ JCVU

4. Evaluering er kendetegnet ved: • Systematiske undersøgelser af undervisningen tilpasset konteksten med henblik på at udvikle og forbedre praksis (Rossi, Lipsey og Freeman) Evaluering benytter sig af systematiske metoder, der kan undersøge effektiviteten af undervisning (Derved flyttes fokus fra evaluering som bedømmelse af lærerne, af lærernes intenderede mål & målsætning til elevernes læring og kompetenceudvikling) HG/ JCVU

5. ’Iagttagelsespunkter’ – ikke alt kan eller skal ses og måles! Udvælg… HG/ JCVU

6. Hvad er det vi står overfor?? Forventede resultater Opnåede resultater Model udviklet af Torben Spanget Christensen, ACU, Århus Amt HG/ JCVU

7. Evaluering Vurdering Test Måling Niels Egelunds definition • Test: Hvor godt klarer eleven sig i fht. gennemsnittet? • Måling: numerisk beskrivelse i fht. til ét parameter, hvad kan eleven i fht. parameter? • Vurdering: bredt sortiment af metoder, hvordan klarer eleven sig totalt set på et område? Evaluering: systematisk, hvordan virker systemet i fht. de intenderede formål? HG/ JCVU

8. Placering af evalueringsbegreberne HG/ JCVU

9. Evalueringsformål – Dahler-Larsen • Kontrol  konflikt mellem pædagogik og organisation • Læring  læreprocesser koster! • Oplysning  generalisering i tid & rum • Strategisk/ taktisk anvendelse • Symbolsk  ’vi evaluerer, altså er vi seriøse…’ • Konstituerende  utilsigtede effekter, og • Socialisering af eleverne (formålsrettet) HG/ JCVU

10. Problemstillinger med evaluering i praksis • ”Evaluering – det har vi altid gjort” • Målsætningen - hvad er det, der skal evalueres på? • Hvordan gøres evalueringen meningsfuld? • Hvilke evalueringsredskaber/metoder findes der, og hvilke kan bruges til hvad? • Se fx UVM: EvalueringsPortalen HG/ JCVU

11. ’Synsninger’ Synsninger er vurderinger, der kan bero på alt mellem himmel og jord • Udgangspunktet er den enkeltes oplevelse af, hvad denne mener eller synes om et givent forløb/undervisning • Men er målene med undervisningen? Og er de nået? • Er der forventning om sammenhæng mellem undervisning og læring – hvad virker?? HG/ JCVU

12. Evaluering ud fra mål – kræver kapacitet ’Pædagogisk teori’ Hvad skal den viden bruges til ? Hvad vil man vide? Hvordan vil man skaffe den viden? HG/ JCVU

13. Evalueringskapacitet • At lave evalueringer af god kvalitet og bruge dem – reel efterspørgsel, god forsyning • Lærere og ledere kan reflektere over deres evalueringspraksis og udvikle den – dobbeltsyn • Bæredygtig udvikling på skolen – skolerne må lære at fiske! • Infrastruktur – måske tværinstitutionelt • Fx arbejdsgrupper, it-platforme, efteruddannelse, netværk, teamsamarbejde, evalueringsprocedurer • Træningspædagogik på individniveau, men forankret på et organisatorisk plan HG/ JCVU

14. HG/ JCVU

15. Reformen og bekendtgørelsen HG/ JCVU

16. Kvalitetsbekendtgør. og reform STX • Evalueringsstrategi (STX bekendtgørelse, kap. 12) • Evaluering af arbejdet med studieplanen, § 107 (?) • Evaluering af undervisningen, § 108 (?) • Evaluering af den enkelte elev, § 109 (?) • Om karakterer, prøver opgaver osv. • System til Kvalitetsudvikling (Kvalitetsbekendtg.) • Præsentation af system, §1 • Procedure for udvælgelse af nøgleområder, §1 • Procedure for eval. af NO, §4 • Inddragelse af elever m.fl, §2 • Procedure til belysning af …§3 HG/ JCVU

17. Hvad drejer det sig om? • Kvalitetssystemet er overordnet i forhold til evalueringsstrategien • Hvordan udvælges nøgleområder? • Hvordan foregår evalueringen? • Hvordan følges der op? • Krav om permanent belysning af, hvordan undervisnings- og arbejdsformer medvirker til elevernes udvikling  overlap med evalueringsstrategien HG/ JCVU

18. Kvalitetsbekendtgørelsen • De gymnasiale uddannelser skal udvikle ’et system til kvalitetsudvikling og resultatvurdering af hver enkelt uddannelse og undervisningen.’ • Det betyder: et samlet kvalitetssystem for den enkelte skole ramme • Et system, der tilgodeser skolens ønsker og behov HG/ JCVU

19. Kvalitetssystemet • Det skal omfatte systematiske og regelmæssige selvevalueringer • Selvevaluering: (§1, stk. 3) ’En proces, der består i at indsamle information og implementere procedurer, der muliggør kontinuerlige, systematiske og kritiske diskussioner om uddannelsesmæssige og undervisningsmæssige forhold i sammenhæng med institutionens tilrettelæggelse og gennemførelse af uddannelsen.’ HG/ JCVU

20. Barometermodellen tilfredshed Indsats: internationalisering Indsats-område Barometer Undervisning-en er ikke engagerende Klasseevaluering Faglige, sociale, og kompeten-cemæssige mål De faglige mål er ikke kendte Tilrettelæggelse Prøver mv. Makro Mikro HG/ JCVU

21. Klasse evaluering Barometer udslag Sammenhængen konkretiseret tid HG/ JCVU

22. Oversættelsen…. • Klassens lærer/ team får til opgave at oversætte de generelle udslag til klassens virkelighed/ enkelte elevers virkelighed • At vælge en evalueringsmetode, der passer til den konkrete problemstilling • At indpasse ’udslaget’ som et mål i evalueringsplanen for undervisningen Derfor er det en … HG/ JCVU

23. … forudsætning for barometret, • At undervisningen og evalueringen er formuleret i en plan, hvor ’udslagene’ kan inkorporeres (både i tid & indhold) • At lærerne arbejder systematisk med undervisningsevalueringen så der er et beredskab til at tage sig af ’udslagene’ • At der er metodisk kapacitet – dvs. at lærerne/ evalueringsgruppe kan bearbejde og beslutte  nye handleplaner HG/ JCVU

24. Eksempel på evalueringsplan – klasseniv. HG/ JCVU

25. Hvad bliver dermed løst? • Samlet, lokalt, værdibaseret kvalitetssystem, inkl. nøgleområder • Aktørerne er inddraget • Eleverne evalueres løbende • Indsamler information og vedvarende diskussioner (= selvevaluering) • Etablering og revision af moduler • Systematisk + regelmæssigt HG/ JCVU

26. Relaterede problemfelter, 1 • Vision og anvendelse • Hvordan skal dokumentationen bruges? • Kontrol og symbolsk til UVM ? • Udvikling til lærerne ? • Konstituerende overfor praksis ? • Analyseindsatsen?  visionen … Barometerevaluering Undervisningsevaluering HG/ JCVU

27. Barometret i praksis • Hvordan skal barometret laves? • organisering • indhold • case eksempel på barometersystem • systematisk evaluering med Hiim & HippeH&H • case eksempel på barometer som en del af evalueringsplan • Gruppearbejde - oplæg HG/ JCVU

28. Barometer og evalueringsplan, case Nøgleområder der skal evalueres: A: overgang fra grundskole til gymnasium B: hvordan undervisnings- og arbejds-former støtter uddannelsens formål, fagligt samspil C: elevernes ansvarlighed og selvstændighed D: information, kommunikation og organisation E: lærerteam F: lærernes efteruddannelse HG/ JCVU

29. Barometret som del af en evalueringsstrategi HG/ JCVU

30. Kvalitetsmål = barometerudslag • Grundforløbsbarometer: • Eleverne skal opleve en markant forskel mellem de to skoleformer. Såvel de faglige krav som kravene til studieteknik og selvstændighed skal opleves som skærpede. Dette belyses gennem: • arbejdsformer (spørgsmålskategorier) • studieteknik • faglighed HG/ JCVU

31. Oplæg til gruppearbejde • Måske noget der ligner det her – stumper af det – lave de evalueringer I har brug for til udvikling og dokumentation • Træning af evalueringskapaciteten – refleksionen, kritiske, systematiske og kontinuerlige diskussioner • Afdækning af den konkrete praksis • kan der laves en samlet evalueringsstrategi for Mars.Gym. • evt. kan barometret derefter flettes ind, jf. case • videndeling HG/ JCVU

32. Organisering af arbejdet Bestyrelse, 3 års plan værdigrundlag Nøgleområder for 2007/ 08 HG/ JCVU