Tájékoztató a TDK-eredményességi mutatóiról

1. Tájékoztató a TDK-eredményességi mutatóiról Dombi József Egyetemi tanár 2012, Győr

2. TDK és OTDK • Kétszintű verseny • Intézményenként TDK, 3 helyi forduló • OTDK kétévente • OTDK XXXI. megmérettetés, 62 év 2012, Győr

3. Díjak • Első, második, harmadik helyezés • Pro Scientia Aranyérem • Minőségbiztosított tudományos fórum • A díjak száma korlátozott • OTDT felügyeli (országosan elismert szakemberek) • Verseny • Hallgatók értékelése (explicit eredmény) • Intézmények értékelése (implicit eredmény) 2012, Győr

4. Rangsorolás • Rangsorolások hatása a rangsoroltakra • Versenyt indukál • Alá- és fölérendeltséget határoz meg • Érzelmi hatás (büszkeség és csalódás) • Teljesítmény ösztönzés • Rangsorolások társadalmi igénye • Több szempont redukálása • Döntések egyszerűsítése • Szakemberek részvétele (átvállalják a felelősséget) • Objektivitást sugall 2012, Győr

5. Rangsorok negatív hatásai • Sokszínűség egydimenzióssá redukálása • Rangsorok változékonyak • A rangsorok a valóságot torzítják • Érzéketlenek az értékelések különbségére 2012, Győr

6. Rangsorok negatív hatásai • Rangsorok visszahatnak a rangsoroltakra • Rosszul konstruált rangsorok torzítják a résztvevők attitűdjeit, a rangsorkészítés fő szempontjaihoz igazítják tevékenységüket • Szubjektív szempontok érvényesülhetnek 2012, Győr

7. Negatív hatások kiküszöbölése • Negatív hatás kiküszöbölése • Objektumok kategorizálása, csoportosítása • Rangsorok helyett csoportok sorrendje • Sokszínűség megtartása: több rangsor alkalmazásával • Mutatók alkalmazása 2012, Győr

8. Rangsorok elvi háttere • Az értékelők és értékeltek függetlensége. • Az értékelés szempontjai előre meghatározottak. • Az értékelés elemeinek egymáshoz való relatív fontossága előre meghatározott. • Az értékelés elkészítésének eljárása előre meghatározott. 2012, Győr

9. Rangsorok elvi háttere • Az értékelés elméleti szempontból megalapozott, azaz a matematikai konzisztencia-feltételeknek eleget tesz. • A rangsor gyakorlati szempontból ellenőrzött, azaz a rangsorban előbb lévők idővel bizonyítják megelőlegezett értékelésüket. • A rangsor stabil az értékelésben, azaz az értékelési szempontok alapján való kis változásra érzéketlen. • A rangsor időben stabil, azaz az értékelési sorrendek az időben lassan változnak. 2012, Győr

10. Rangsorok és a felsőoktatás • A továbbtanulási döntéseket befolyásolja Hallgatók és szülők • Intézményi támogatásra hatással van • A felsőoktatási intézmény értékelésének egydimenziós projekciója • Rangsorok helyett minősítések 2012, Győr

11. Rangsorok alapjai • Oktatási tevékenység • Tudományos tevékenység Egyéb szempontok a felsőoktatási intézmény választásához • Infrastruktúra (épületek, eszközállomány, könyvtár, informatikai háttér) • Szociális ellátottság (kollégiumok, diákélet) 2012, Győr

12. Oktatás és tudomány • Tudományos teljesítmény kap hangsúlyt Következmény: az egyetem „tudásgyárrá” válik, oktatás másodlagos • Oktatási teljesítmény kap hangsúlyt Következmény: a tudomány fejlődésétől elmarad, esetleg több évtizedes, elavult tudást ad át 2012, Győr

13. Rangsorok hatása • Pozitív visszacsatolást generál (önbeteljesítő prófécia) • Egy jó intézménybe jobb képességű diákok jelentkeznek, és az intézmény jobbá válik • A pozitív visszacsatolás előnyös, mert az intézményi evolúciót erősíti • A pozitív visszacsatolás hátrányos, mert az intézmények létrejöttét gátolja 2012, Győr

14. Intézményt minősítő mérőszámok • A TDK sikere abban rejlik, hogy az intézményektől függetlenül méri a diákok teljesítményét! • Amennyiben a TDK alapján készült intézményi rangsor állami támogatások direkt meghatározója, az intézmények az objektív ítélkezés helyett saját érdekeiket veszik figyelembe, az értékelés szubjektívvá válhat 2012, Győr

15. Az OTDK, mint intézményi mérőszám • Az intézményi rangsor tudományos és oktatói teljesítményt vesz figyelembe • Az OTDK eredmény mindkettő tevékenységet méri 2012, Győr

16. Adatelemzés • Három OTDK forduló adatbázisa (karonként) • Intézményi résztvevők száma • Első helyezettek száma • Második helyezettek száma • Harmadik helyezettek száma • Pro Scientia díjazottak száma • Intézmények létszámadatbázisa (karonként) • 175 kar szerepel 2012, Győr

17. Résztvevők száma 1. • Résztvevők számának figyelembe vétele az értékelést torzítja • A részvevők száma 98%-os korrelációt mutat a helyezésekkel Nem szükséges figyelembe venni a résztvevők számát! 2012, Győr

18. Résztvevők száma2. a korábbi javaslat alapján Átlagosan a pontok 2/3-át a hallgatói részvételre adott pontok adják # : hallgatói létszámra kapott pontszám aránya az összpontszámon belül egy-egy intézményre, például minimum 30.77%, maximum 100% adódott a jelenlétből (tehát volt olyan intézmény, amely csak a hallgatói jelenlétre kapott pontot) 2012, Győr

19. Résztvevők száma3. Az eredménypontozás az új súlyozással történt 19 intézmény kapott pontot csak hallgatói részvételre, ez ~10% 60 intézmény legfeljebb 3 eredménypontot ért el, ez ~1/3 82 intézmény legfeljebb 6 eredménypontot ért el, ez ~50% A korrelálatlan komponenseknek kell a döntésben szerepet játszaniuk 2012, Győr

20. Új pontozási rendszer pontozási stabilitása és részvevők száma Az eredménypontozás az új súlyozással történt A pontozás stabil, abban az értelemben, hogy ha elhagyjuka hallgatókért kapott pontszámokat az első 9 helyezett ugyanaz marad, vagyis a legjobbak akkor is a legjobbak maradnak ha csak eredménypontokat kapnak 2012, Győr

21. Új pontozási rendszer A paraméterezés lexikografikus döntések témakörben publikált eredmények figyelembe vételével történt 2012, Győr

22. OTDK pontozási súlyozásának időbeli változása • Ha az intézmények néhány év alatt radikális minőségi változáson esnek át, akkor a súlyozásnak ezt tükröznie kell • Amennyiben ezek a változások lassú folyamatok, és csak az utolsó pár év adatai állnak rendelkezésre, a súlyozás azonosnak választandó • Az utolsó 6 évben ilyen radikális változással nem számoltunk 2012, Győr

23. Pro Scientia pontozása • A Pro Scientia kiemelkedő tudást reprezentál • A Pro Scientia díj a hallgatóra vonatkoztatható? • A Pro Scientia díj az intézményre vonatkoztatható? • A Pro Scientia értékelése duplája az első helyezett értékének • A Pro Scientia érmesek jelentősen befolyásolhatják a rangsort 2012, Győr

24. Javaslat jövőbeni pontozási paraméterre, leíró statisztikai kiértékelés Pro Scientia díj eloszlása: - Összesen 140 Pro Scientia díjat osztottak ki, 55 kar kapott ilyen díjat A karok ~1/3-a tudományos csúcsteljesítményt nyújtott - Az első 9 helyezett 60 díjat kapott ez a díjak ~40%-a A legkiválóbb hallgatók a legjobb egyetemekre mennek! - Kiemelkedik az ELTE teljesítménye: ELTE TTK 19 díj (a többi TTK összesen 12 díj), ELTE BTK 10 díj ELTE TTK+ELTE BTK együttesen a díjak ~20%-át kapta. 2012, Győr

25. Pro Scientia díj rangsorbeli változáselemzése A pontozás stabil abban az értelemben, hogy Pro Scientia =0 pont esetén az intézmények ~80%-a legfeljebb 3 hellyel mozdul el az értékpontozáshoz képest A pontozási javaslat vesztesei, akik legtöbbet rontottak rangjukon: A pontozási javaslat nyertese, aki legtöbbet javított rangján: 2012, Győr

26. Javaslat jövőbeni pontozási paraméterre, a javaslat pontozási stabilitása Pro Scientia = 0 pont mellett az első 8 helyezett ugyanaz marad 2012, Győr

27. A Pro Scientia hatása a helyezésre a legjobb 8 kar esetén 2012, Győr

28. Pro Scientia díj figyelembe vétele rangsorkészítésnél • Pro Scientia díj figyelmen kívül hagyása az intézmények nagy részét nem érinti • Néhány intézmény helyezésében jelentős a változás • Az intézményi rangsor kialakításában a ritkán előforduló rendkívüli teljesítmény esetleges • A Pro Scientia díj inkább hallgatói díj, mint intézményi 2012, Győr

29. Kategóriák bevezetése • A stabilitás növelése céljából kategóriák kerültek bevezetésre • Kiemelkedő • Jelentős • Közepes • Fejlesztendő • Értékelhetetlen 2012, Győr

30. Kategóriahatárok 2012, Győr

31. Kategóriahatárok meghatározása • A pontozásban a hirtelen változások határozzák meg a kategóriahatárokat • Matematikai analízis szükséges • Az adatbázis alapján a következő eredmények adódtak, kerekítve 2012, Győr

32. Kategóriahatárok értékei • kiemelkedő minősítést a karok 5%-a, • jelentős minősítést a karok 10%-a, • jó minősítést a karok 15 %-a, • közepes minősítést a karok 20 %, • fejlesztendő minősítést a karok 40 %-a, • értékelhetetlen minősítést a karok 10%-a kapott (a három vizsgált OTDK-n nem értek el helyezést). 2012, Győr

33. Elemzés eredménye Kiemelkedő minősítés, karokra nem bontható intézmények, karok: 2012, Győr

34. Elemzés eredménye Jelentős minősítésű karokra nem bontható intézmények, karok: 2012, Győr

35. Elemzés eredménye Jó minősítésű karokra nem bontható intézmények, karok: 2012, Győr

36. Pontszámok alakulása(belső információk) 2012, Győr

37. Pontszámváltozás • Exponenciális csökkenés! 2012, Győr

38. További feladatok • Az intézményi létszám és az eredményesség vizsgálata • A Pro Scientia csökkentett értékkel való figyelembe vétele • A konkurencia nélküli karok egyedi értékelése • A verseny erősségének figyelembe vétele 2012, Győr

39. A dolgozatok pontszámelemzése,az intézményi összlétszám mint lehetséges komponens figyelembevételének vizsgálata - Az intézmények létszáma és eredménypontszáma közötti korreláció ~50% - Elmondható, hogy nincs összefüggés az intézményi hallgatói létszám és a teljesítmény között - A legkiválóbbakra ez még inkább igaz, vagyis a teljesítményük a minőségi munka függvénye mennyiségi komponense nincs 2012, Győr

40. Köszönöm a figyelmet! Köszönöm a figyelmet! Köszönetet mondok Prof. Szendrő Péternek az OTDT elnökének támogatásáért és Vincze Nándornak az adatelemzésben nyújtott segítségéért. 2012, Győr