Intézményértékelés, hozzáadott érték

1. Intézményértékelés,hozzáadott érték Székesfehérvár, 2006.06.08. Árendás Péter Illyés Gyula Gimnázium és KSZKI Budaörs www.onfejlesztoiskolak.hu

2. Mit értékel(j)ünk? • minőség - definiálás és deklarálás (Ql.; Qt.) a szervezet (intézmény) felelőssége • eredményesség – minőség előállítási képesség (Ql.; Qt.) • hatékonyság(Qt.) (eredmény/ráfordítás), (OECD, EU hatékonysági indikátorok) (Qt.) • rész és/vagy egész? • (a) meghatározó rendszerelem értékelése • (b) a rendszer egészének értékelése Ql.: minőségi; Qt.: mennyiségi

3. Értékelési szintek • nemzetközi mérések • országos kompetencia mérések – részben tisztázott funkciókkal • fenntartói mérések, fenntartói értékelés • intézményértékelés

4. I. Fenntartói minőségirányítási program (ÖMIP) Az önkormányzati minőségirányítási program (ÖMIP) elemei: • Fenntartói elvárások meghatározása a helyi közoktatási rendszer egészére • Az intézmények fenntartói elvárásokkal kapcsolatos feladatai • Törvényességi, szakmai, pénzügyi ellenőrzések rendje (helyi ellenőrzési-értékelési rendszer) Palotás Zoltán Qualy-Co

5. Jogszabályi háttér • Kt. 102.§ (2) d) pontja: • A fenntartó • „a minőségirányítási programban meghatározottak szerint működteti a minőségfejlesztés rendszerét, továbbá rendszeresen - ha jogszabály másképp nem rendelkezik, négyévenként legalább egy alkalommal - ellenőrzi a közoktatási intézmény gazdálkodását, működésének törvényességét, hatékonyságát,a szakmai munka eredményességét…” – minőségirányítási programot csak az önkormányzatoknak kell készíteni… • Kt. 102.§ (2) g) pontja: • „értékeli a nevelési-oktatási intézmény foglalkozási, illetve pedagógiai programjában meghatározott feladatok végrehajtását, a pedagógiai szakmai munka eredményességét” Palotás Zoltán Qualy-Co

6. Jogszabályi háttér • Kt. 104. § (4) bekezdés szerint a pp végrehajtását és a szakmai munka eredményességét az alábbiak alapján értékelheti: • Szakértői szakvélemény • Alapműveltségi és érettségi vizsga eredményei • Az intézményi beszámoló • Az iskolaszék véleménye Palotás Zoltán Qualy-Co

7. Jogszabályi háttér Kt. 107. § - eljárás szabályozása A szakmai ellenőrzés megkezdése előtt legalább hét nappal az ellenőrzés vezetőjének egyeztetni kell a vezetővel és a kezdeményezővel • az időtartamot • a formát • a módszereket • az időpontot • az érdekeltek véleményezési lehetőségének módját Palotás Zoltán Qualy-Co

8. Jogszabályi háttér • A szakmai ellenőrzés megállapításait a személyiségvédelemre vonatkozó jogszabályok megtartásával nyilvánosságra kell hozni. • Az aki az ellenőrzés megállapításaival nem ért egyet, másik szakmai ellenőrzés keretében kérheti annak felülvizsgálatát. • Szakmai ellenőrzés eredményeképpen a fenntartó felhívja az intézmény vezetőjét a szükséges intézkedések megtételére. Palotás Zoltán Qualy-Co

9. A rendszer kialakítása • Az ellenőrzési, értékelési rendszer elemei: • ellenőrzési, értékelési célok kijelölése a középtávú feladatellátási célok alapján • Az ellenőrzés, értékelés területeinek meghatározása • Ellenőrzési, értékelési szempontok meghatározása • Módszerek és eszközök meghatározása • A területekhez kapcsolódó indikátorok meghatározása • A keletkezett információk elrendezésére vonatkozó adatbázis kialakítása Palotás Zoltán Qualy-Co

10. Ellenőrzés, értékelés területei Palotás Zoltán Qualy-Co

11. II. Intézmény(ön)értékelés Rész/vagy egész értékelése?! • Küldetés, alapelvek, stratégiai dokumentumok • Input • Az intézmény • szervezet és vezetés • működés • szervezeti kultúra • Output

12. Az intézményértékelés néhány szükséges jellemzője • A szempontok fedjék le (hézagmentesen) a teljes rendszert • A lefedő kritériumok száma legyen átlátható, kezelhető (7-10) • Legyenek minél kisebbek az átfedések a kritériumok között (kritériumfüggetlenség) • Legyen világos, tisztázott a hatóköre, az érvényessége a következménye (település, intézmény, évfolyam, osztály, tanuló/pedagógus) • Legyen megfelelő a mennyiségi és a minőségi módszerek (a mérési, értékelési kultúrától erősen függő) aránya (a kvantifikálható indikátorok kritikus tömege) • A konkrét értékelés: • innovációs fázisban: essen az intézmény szervezeti-mérési kultúrájának „proximális zónájába” • erőgyűjtési fázisban: legyen ismert, kipróbált, rutinszerű.

13. Az „intézménybarát értékelés” néhány jellemzője - Központi, finanszírozott program (pl. Comenius 2000; SZAK-pályázat; KMD; SZAKMA-projekt) - Kidolgozott (másolható) eljárásrend (minőségügyi vezető ill. mérési-értékelési szakértő nélkül is!) - Hiteles, hozzáférhető, részben már ismert eszközök - Intézményi szinten is átlátható, kezelhető mennyiségű adat - Jellemzően fejlesztő, támogató jelleg

14. „Rendszerbe állított” (használatba vett) lehetőségek - Nemzeti Minőségi Díj (Közoktatás Minőségéért Díj) - Comenius 2000 II. Modell - „Saját” rendszerek Választás: • A rendszer teljes lefedése, hangsúlyok • A kritériumok kategorizálása • mit, mennyire típusú kritériumok (mennyiségi elemzések) • hogyan típusú kritériumok (minőségi elemzések) (mittípusú kritériumok – hozzáadott érték)

15. EREDMÉNYEK 500 ADOTTSÁGOK 500 Vezetés Erőforrások Folyama-tok szabályo-zása Munkatársak elégedettsége Kulcs- fontosságú eredmé-nyek Intézményi stratégia Partnerekelégedettsége INNOVÁCIÓ és TANULÁS Munkatársak irányítása Társadalmi hatás Intézmény(ön)értékelés – minőségdíj kritériumok alapján HOGYAN, MILYEN MÓDSZEREKKEL? MIT, MENNYIRE ?

16. Intézmény(ön)értékelés – a Comenius 2000 Modell alapján • Az intézményvezetés felelőssége és elkötelezettsége (hogyan) • A partnerkapcsolatok irányítása (hogyan, mit) • Emberi erőforrások (hogyan, mit) • Egyéb erőforrások (mit, hogyan) • Az intézmény működtetése (hogyan) • Biztonságos intézmény (mit, hogyan) • Oktatás-nevelés (mit) • Mérés, elemzés, javítás (mit, hogyan) • Szervezeti kultúra, klíma területe (hogyan, mit)

17. Ellenőrzés, értékelés területei Palotás Zoltán Qualy-Co

18. Kinek mi az érdeke? (az intézményi eredményesség és hatékonyság értékelése során) • Belső (intézményi ön-) értékelésés külső (pl. fenntartói) értékelésoptimális aránya • Érdekazonosság/érdekellentét: • iskolahasználók – minőség • fenntartó – minősítés (hatékonyság; feladatfinanszírozás) • intézmény (vezetés) – (intézményi) minősítés és fejlesztés • pedagógus – (egyéni) fejlesztés, támogatás (működésfinanszírozás)

19. A közös rész, amit minden érintett tudni (mérni) akar iskolahasználók (kulcsfontosságú eredmények) fenntartó (kulcsfontosságú eredmények, hatékonyság) intézmény (kulcsfontosságú eredmények, saját hozzájárulás mértéke) INTÉZMÉNYÉRTÉKELÉS ÖNÉRTÉKELÉS HOZZÁADOTT ÉRTÉK

20. III. Pedagógusértékelés

21. Rendszerelemek • eredménycentrikus - jutalmazó elem • tevékenységcentrikus -folyamatszabályozó elem • szembesítő - formatív elem

22. Az egyes elemek jellemzői • eredménycentrikus - jutalmazó elem • funkciója: adott, jól definiált teljesítményért - garantált jutalom (forrásigény!) • erősen (konszenzussal) legitimált, „fillérre kiszámolható” taxatív célprémium rendszer • rövid periódusonként (tanévenként 1-2 alkalommal), rögzített időpontokban ismétlődik • szubjektív elemet nem (alig) tartalmaz

23. Az egyes elemek jellemzői • tevékenységcentrikus - folyamatszabályozó elem • funkciója: az intézményi célok és az egyéni karriercélok összhangba hozása, kölcsönös erősítése, (a ped. program személyre szóló) támogatása. Nem lehet direkt anyagi következménye! Meghatározó eleme a fejlesztés, a támogatás, nem minősíti a pedagógust! • erősen (konszenzussal) legitimált szempontsor és eljárásrend • lehetőség szerint vezetői periódusonként (5 évenként) minden kolléga sorra kerül

24. Az egyes elemek jellemzői • szembesítő - formatív elem • funkciója: szembesíteni a pedagógust egy partner véleményével (teljes egészében a partner szempontsora és eljárásrendje érvényesül) • csak a toplista nyilvános, mindenki csak a saját eredményét, az átlagot, a szórást a maximumot és a minimumot látja. • formálisan semmilyen következménye nincs • nem deklarált rendszerelem (de nem illegitim!)

25. Eredménycentrikus - jutalmazó elem • Standard szempontok: • fizetésarányos rész • egységes rész • beosztás-, státuszfüggő rész • tanított tanulók, csoportok száma • érettségi érintettség • (felsőfokú) nyelvvizsgák száma • versenyeredmények (megyei, országos) – taxatív rendszer

26. Eredménycentrikus - jutalmazó elem • iskolai szintű táborok, programok • diákönkormányzati munka támogatása, (Egyosz-nap) • Illyés Napok (tanulmányi, kulturális, sport) • iskolai programokon való részvétel • helyettesítések vállalása • hiányzás, önigazolás

27. Tevékenységcentrikus - folyamatszabályozó elemI.Az értékelést megelőző szakasz • bevezető beszélgetés: a fejlesztés, az értékelés célja, szempontjai • a tanár saját önértékelésének elkészítése, megbeszélése • óralátogatások mikéntjének rögzítése • további támpontok: elért eredmények, füzetek, dolgozatok, tanmenetek, óravázlatok, tanulói vélemények, kollegák véleménye, tanórán kívüli tevékenységek.

28. Tevékenységcentrikus - folyamatszabályozó elemII. Az értékelés • Kvantifikálható adatok: • tanulóinak teljesítménye (tudásszint mérés) • követelményrendszere és annak összhangja a pedagógiai programmal, helyi tantervvel • a különböző műveleti szintek adekvát használata • értékelési gyakorlata, kultúrája • óravezetésének strukturált megfigyelése • interakciós jellemzők rögzítése (standandizált mérőlappal)

29. Tevékenységcentrikus - folyamatszabályozó elemII. Az értékelés • Csak részben kvantifikálható adatok: • egyéb iskolai tevékenységei • kollegialitása • követelményrendszerének illeszkedése a munkaközösség többi tagjáéhoz • együttműködési képessége (kollegákkal, tanulókkal, szülőkkel, egyéb partnerekkel) • tervező munkája • tantervfejlesztő, tantervértékelő tevékenysége • fegyelmezési stílusa, a tanulókhoz való viszonya,

30. Tevékenységcentrikus - folyamatszabályozó elemII. Az értékelés • motiváló képessége • kiegyensúlyozottsága, biztonsága • továbbképzési szükségletei • szakmai felkészültsége • értékelési képessége • tanulóinak menedzselése • az érték- és normaközvetítésben vállalt szerepe • pályaorientációs tevékenysége • törvényességi szempontok • esélyegyenlőség biztosítása, diszkrimináció a munkája során

31. Tevékenységcentrikus - folyamatszabályozó elemIII.Az értékelés lezárása, utókövetés • Közösen elkészített fejlesztési-cselekvési terv • Utókövetés • a megvalósulás mérőpontjainak rögzítése • a megvalósulás értékelése  megerősítés vagy korrigálás. • Hosszútávú következmény?!

32. A tanárok diákok általi értékeléseszembesítő - formatív elem • A.1: Szaktárgyának ismerete, a tananyagból való felkészültsége • A.2: Mennyire veszi figyelembe az egyes tanulók képességeit, igazítja az egyes diákokhoz az anyagot • A.3: Mennyire érthetően adja le a tananyagot, magyaráz jól • B.1:Számonkéréskor mennyire igazodik az órán leadott anyaghoz, mennyire világosak a követelményei • B.2: Az általa számon kért tudás mennyire hasznosítható a későbbiekben • B.3: Az általa feladott házi feladatok mennyire segítik a tananyag megismerését és megtanulását

33. A tanárok diákok általi értékeléseszembesítő - formatív elem • C.1: Az óráin való részvétel során mennyire fejleszti a vitakultúrádat, mennyire segít hozzá az önálló véleményalkotáshoz és – kifejtéshez • C.2: Mennyire segíti az esetleges szorongások feloldását • C.3: Mennyire kezel partnerként (toleráns, segíti önbecsülésedet, odafigyel Rád, stb.) • D.1: Mennyire tartod jónak óráinak hangulatát • D.2: Mennyire tartod jónak fegyelmezési módszereit • D.3: Mennyire tudja összehangolni, összefogni az órai munkát, az osztályt

34. Pedagógus értékelés • szükséges források • anyagi • humán (értékelők) • időtényezők

35. Hozzáadott érték megközelítések

36. IV. A tanulókat érő (fejlesztő) hatások • A tanulók és csoportjaik közötti különbségekokai, eredete • szelekció • fejlesztő hatás • A tanulókat érő hatások megkülönböztetése • eredet szerint (iskolai, iskolától független) • tartalom szerint • A tanulókat érő hatások vizsgálata tanulásszervezési egységek (mérési egységek) szerint (az a tanulásszervezési egység, amely az adott mérés szempontjából közel azonos fejlesztési hatásoknak van kitéve): • iskola – iskolák közötti különbségek • évfolyam – évfolyamok közötti különbségek • osztály – osztályok közötti különbségek • tanuló – tanulók közötti különbségek

37. A tanulócsoportok eltérő eredményeinek oka, eredete • Iskolán kívüli (iskolától független) tényezők hatása • az iskola szelekciós lehetőségei és ennek következményei • a szülők eltérő iskolai végzettségével kapcsolatba hozható különbségek • egyéb háttérváltozókból magyarázható különbségek • Egyértelműen az iskolához kapcsolható tényezők hatása

39. Az iskolához kapcsolható tényezők hatása; mit mérjünk? Nagyon erősen mintafüggő (osztály, évf., iskola, település, régió, ország, nemzetközi). Mit, milyen tudásformát, tudástartalmat mérjünk? • tantárgyi tudás (tantervi követelmények ill. tantárgyi tesztek) • kiválasztott kompetenciák, megértési-, alkalmazási képességek • gondolkodási képességek A gondolkodási-, megértési-, alkalmazási képességek valamilyen kombinációját célszerű mérni.

40. Milyen mérőeszközök állnak rendelkezésre, mivel mérjünk? PISA 2000, 2003 (2006) mérések KÁOKSZI – OKÉV 2001, 2003 mérések JATE-SZTE mérések Egységes középiskolai felvételi vizsgák Emelt szintű érettségi vizsgák

41. A különböző szintű mérések egymásra épülése (!) • Nemzetközi mérések – országok közötti különbség • Országos mérések – településtípusok, települések, fenntartók, iskolatípusok, iskolák közötti különbség • Fenntartói mérések – iskolák, tagozatok, osztályok közötti különbség • Intézményi mérések – évfolyamok, tagozatok, osztályok, csoportok, tanulók közötti különbség - Szükséges feltételek: felhatalmazás (mandátum), szakértelem, források, mérési-feldolgozási kapacitás - Hozzáférés, folytathatóság, felhasználhatóság, kiegészíthetőség a következő szinten

42. A pedagógiai hozzáadott érték2 Az iskola egy adott időtartam alatt mit (mennyit) ad hozzá a tanulók tudásához valamely, jól definiált területen. • A tanulókról input és output adatok is rendelkezésre állnak (ugyanakkor általában nagyok az induló különbségek!) • A tanulókról csak egy alkalommal felvett adatok állnak rendelkezésre, ugyanakkor elegendő információ van az iskolán kívüli tényezők hatásáról

43. Rangsorok A középiskolai munka néhány mutatója (Neuwirth Gábor munkái alapján) • a korábbról hozott, a hozzáadódó és az iskola által hozzáadott hatások bonyolult eredője • a saját intézmény elhelyezése az országos, regionális, helyi rangskálán • fontos háttérváltozók (régió, településtípus, fenntartó, stb.) szerinti elemzési lehetőségek • stratégiai tervezéskor, trendvizsgálatok esetén kihagyhatatlan

44. Rangsorok - hozzáadott érték1,2(fontos fázis) Nem a kimeneti eredményekben bekövetkezett változások mértékét jellemzi! A kimeneti adatok adottak, nincs választási lehetőség. A rangsor árnyalása – kimeneti és bemeneti adatok kapcsolata kimeneti adatok: eredményességi mutatók • F/L • Közös írásbelik iskolai átlaga • Nyelvvizsga/jelentkezők (Ny/J) • OKTV (OSZTV)/ tanulók száma bemeneti adatok: szociokulturális, tanulmányi mutatók • ált. isk. tanulmányi átlag • szülők iskolázottsága • munkanélküliségi ráta • a bemeneti adatokból képzett B értéket hasonlítja össze a kimeneti adatokból képzett K értékkel (különböző képzési eljárások) - faktoranalízissel a kimeneti adatokból egy kimeneti faktort képeznek, amely a konkrét bemeneti adatok felhasználásával várható kimeneti értékeket szolgáltat. A várható és a valós kimeneti értékek eltérése – hozzáadott érték

45. Hozzáadott érték2 – tudástartalmak, a tudás különböző rétegei (JATE - SZTE) Cél: a tudás különböző rétegei kapcsolatának, adott tudásforma fejlődésének a vizsgálata mi választunk „réteget” – mibe akarunk belemérni • közvetlen indikátorok – szummatív tantárgyi értékelés (záróosztályzatok) • tudásszintmérő tantárgyi tesztek • megértés, alkalmazási képesség, szemlélet vizsgálata • gondolkodási képességek vizsgálata • induktív gondolkodás (szóanalógiák) • deduktív gondolkodás (logika) • korrelatív gondolkodás (valószínűségi összefüggések) • kritikai gondolkodás Elméleti háttér, mérőeszközök, elemzési szempontok, módszerek

46. Hozzáadott érték – a hatások szétválasztása (JATE - SZTE) • kulcs-háttérváltozó: a szülők (az anya) iskolai végzettsége – a különbségeket magyarázó legerősebb tényező • regresszió analízis: statisztikai módszerekkel meghatározható az az eredmény (várható érték), amely egy osztálytól (évfolyamtól, iskolától) valamilyen feltétel teljesülése estén (pl. a szülők valamilyen iskolai végzettsége esetén) elvárható. • az eltéréseket egy idő után először értelmezni, majd magyarázni kell(ene) tudni • t idő múlva ugyanolyan (ekvivalens) mérőeszközzel lehet mérni a változást

47. Országos kompetencia mérések 2001, 2003; folytatás? • KÁOKSZI 2001 (5. és 9. évf.), 2003 (6. és 10. évf.) • olvasás-szövegértés • matematikai műveltség, eszközhasználat • 2003-tól háttérváltozók is • a kompetenciák előtérbe kerülése • tesztminta, javítókulcs minta • a diagnosztikus értékelés elemei • szempontok a tantervi követelményekhez, a tanulói értékeléshez • országos összehasonlíthatóság • segítség az intézményi szintű elemzések folytatására (CD) • az egyéni tanulói követés nehézkessége • „megágyazás” az egységes középiskolai felvételinek

48. Mihez viszonyítva – vonatkoztatási rendszer • Országosan (regionálisan, stb., a vizsgálatba bevont korosztályok és iskolatípus vonatkozásában is) reprezentatív mintán felvett induktív teszt alapján: K, f0, r, aparaméterek meghatározhatók, ez lesz a viszonyítási alap, az ún. szimulált függvény: fsz(t). • Az adott iskolát reprezentáló mintán felvett induktív teszt alapján: K, f0, r, aparaméterek meghatározhatók, ez lesz a viszonyítási alap, az ún. szimulált függvény: fsz(t). • A ténylegesen elvégzett mérések eredményeit fm(t) függvény értékei mutatják. • Az iskola hatására szuperponálódó egyéb hatásokat a regresszió analízis és a faktoranalízis eszközeivel szűrjük. (a 4-8 évet átfogó szimulált fv. értékeket egy adott időpontban felvett keresztmetszeti mérésből is nyerhetjük)

49. fm(t2) fsz(t) fm(t) fm(t1) fm(t0) t0 t1 t2

50. fm(t2) fsz(t) fm(t) fm(t1) fm(t0) t0 t1 t2 Hozzáadódó érték3 H(ti) = H(ti-ti-1) = fm(ti) - fm(ti-1) - fsz(ti) - fsz(ti-1)