Alkalmazott K+F és az innovációs projektek értékelési módszerei

1. Alkalmazott K+F és az innovációs projektek értékelési módszerei Dr. Balogh Tamás Gazdasági és Közlekedési Minisztérium MTA-GKM értékelési konferencia Budapest, 2007. április 25.

2. Politika, szakpolitika Értékelés, elemzés Statisztika, benchmarking Programok, intézkedések

3. Mi az értékelés célja? (1) • A kitűzött célok és az elért eredmények összehasonlítása, • A felhasznált eszközök hatékonyságának mérése, • Információszerzés a TTI politika számára; • A K+F rendszer iránti bizalom erősítése, demonstrálva annak eredményességét és átláthatóságát;

4. Mi az értékelés célja? (2) • A szervezeti fejlődés és a tanulás elősegítése; • Az intézményen belüli verseny objektivitásának biztosítása; • A kutatási területek és az intézmények összehasonlítása, • a különböző szakterületek, intézmények és programok közötti igazságos és hatékony pénzallokálás megalapozása.

5. A jó értékelés: • figyelembe veszi a szakterület jellemzőit és céljait. • adminisztratív kontroll helyett ösztönző, kutatásbarát. • koncepciója konszenzuson alapul. • közérthető, az állampolgár számára (is) készül. • a folyamatok megértésére törekszik. • gondot fordít az adott célra legjobb értékelési módszer kiválasztására. • része egy folyamatos tanulási folyamatnak. • [

6. Projekt- és program értékelési módszerek 1. Szakértői bírálat (peer review) 2. Interjús és kérdőíves módszerek 3. Félkvantitatív módszerek (bibliometria, szabadalomelemzés, tudományos és technikai indikátorok elemzése) 4. Kvantitatív módszerek (Költség-haszon elemzés, ökometriai módszerek, a gazdasági többleteredményen alapuló módszerek) 5. Esettanulmányok 6. Teljesítmény-indikátorokon alapuló elemzések 7. Portfólió-elemzési módszerek

7. 1. A szakértői bírálat (peer review) • Előnyei: • Egyszerűen megszervezhető és lebonyolítható. • Költségei alacsonyak. • Az értékelés általában magas szakmai színvonalú. • Az eredmények rendszerezhetők, ellenőrizhetők és finomíthatók • Hátrányai: • Túlértékelheti a tudományos minőségi szempontokat. • Kevés ember véleményén alapul. • Kultúra- és referenciakritérium-függő, szubjektivitásra ad módot. • Csak kvalitatív eredményeket ad. • Nem kedvez a nagy áttörések elismerésének. • A csoporton belül gyakran a tekintélyelv uralkodik. • Gyakran háttérbe szorulnak a gazdasági hasznosítás szempontjai.

8. 2. Interjús és kérdőíves módszerek • Előnyei: • Nagy számú véleményt képesek figyelembe venni. • A nyitott kérdések révén új, érdekes szempontok érkeznek. • Alkalmasak kvantitatív jelzőszámok meghatározására. • Alkalmasak az esettanulmányok eredményeinek általánosítására. • Hátrányai: • A kérdések strukturálása és a válaszok értelmezése torzíthat. • A kvantitatív adatok nem eléggé megbízhatók: a válaszadók hajlamosak a valóságosnál pozitívabb kép kialakítására, mert tudják, hogy az értékelés eredménye kihathat saját későbbi támogatásukra.

9. 3. Félkvantitatív módszerek • Előnyei: • Számszerűsíthető, átlátható és ellenőrizhető adatokat szolgáltatnak. • Lehetővé teszi kutatók és kutatócsoportok normatív összehasonlítását. • Más módszerekkel kombinálva hasznos indikátorokat adnak. • Hátrányai: • Általában egy-egy paraméterre koncentrálnak. • Nem adnak választ a K+F társadalmi és gazdasági hasznosság kérdésére. • A makromutatókon belül nem lehet elkülöníteni a K+F hatásait.

10. 4. Kvantitatív módszerek • Előnyeik: • Logikus szerkezetű, komplex, matematikai formában kezelhető, átlátható és ellenőrizhető adatokat szolgáltatnak. • Lehetővé teszik a projektek közötti összehasonlítást, és ezzel jól megalapozhatják az erőforrások felhasználásáról hozott döntéseket. • Hangsúlyozzák a „value for money” elvet, tehát a K+F társadalmi hasznosságának követelményét. • Hátrányaik: • Korlátozottan alkalmasak a közvetett hatások figyelembe vételére. • Ritkán képesek figyelembe venni a hosszabb távú hatásokat. • a matematikai megjelenítése következtében megbízható hatást keltenek, miközben pontosságukat számos módszertani nehézség gátolja. • Költségesek.

11. 5. Esettanulmányokon alapuló értékelések • Előnyeik: • A konkrét eseteken keresztül szemléltetik a K+F és a társadalmi gazdasági hatások összefüggéseit. • Segítenek a sikertényezők azonosításában. • Összefüggéseket tárnak fel, ezért alkalmasak komplex folyamatok megértésére és a makroszintű politikák megalapozására. • Ott is feltárják az összefüggéseket, ahol nincs előre meghatározott indikátor. • Hátrányaik: • A múltra vonatkoznak, folyamatban lévő ügyek vizsgálatára nem alkalmasak. • Szubjektívek, függenek az értékelő személyes tapasztalataitól. • Az eredményeik nem vagy nehezen általánosíthatók. • Költségesek, ezért nagy számú téma vizsgálatára kevésbé alkalmasak. • Szöveges jellegük miatt kevés kvantitatív eredményt adnak, ezért nehéz beépíteni ezeket a rutinjellegű monitoring-tevékenységbe.

12. 1, 2, 3, … • 6. Indikátorokon alapuló értékelések • Előnyeik: • Az indikátorok könnyen azonosíthatók, strukturálhatók és számszerűsíthetők. • A folyamatban lévő programok követésére valószínűleg ez a legjobb módszer. • Fegyelmezi az értékelők és az értékelést megrendelők gondolkodását azáltal, hogy előre meg kell határozniuk a célokhoz illő, mérhető indikátorokat. • Az összes értékelési módszer közül a legolcsóbbak. • Hátrányaik: • A súlyozásban megjelenő szubjektivitás torzításokhoz vezethet. • Az indikátor alapján történő mechanikus döntések során kimaradhatnak fontos kvalitatív információk. • A sok kvantitatív eredmény a teljesség képzetét keltheti, miközben elsikkadhat az összefüggések, az okok megértése..

13. 7. Portfólió-elemzésen alapuló • értékelés • Előnyei: • Áttekinthető, több dimenziós elemzéseket tesz lehetővé. • Olyan többlet-információt szolgáltatnak a teljes program irányainak elemzéséhez, amelyre más módszerek nem alkalmasak. • Alkalmas egész programok gyors áttekintésére, ezért menedzsment-eszközként is jól segíti a program-menedzserek és a döntéshozók munkáját. • Hátrányai: • Az ábrázolt dimenziók kiválasztásában megjelenő szubjektivitás torzításokhoz vezethet. • A kevés indikátor alapján végzett portfólió-elemzések során kimaradhatnak fontos kvalitatív információk.

14. K+F értékelési kormányrendelet (a 2286/2004. [XI. 17.NKTH dolgozta ki): 198/2005. (IX. 22.) Korm. rendelet a közfinanszírozású támogatásban részesülő kutatás-fejlesztési és technológiai innovációs programok értékelése rendszeréről és tartalmi követelményeiről

15. A középtávú TTI stratégia a K+F értékelésről „(A Kormány) a megfelelő szakismeretre építve megvalósítja a közfinanszírozású támogatások felhasználásának rendszeres ellenőrzését és független értékelését, ezek alapján gondoskodik a hatékonyság folyamatos javításáról”. „A célkitűzések meghatározása, a programok tervezése, ellenőrzése és visszacsatolása, a minőség és a teljesítmény értékelése egyre inkább indikátorokra épül.” „Az aktív,kezdeményező államiszerepvállalás nélkülözhetetlen része – a kötelező jogi, pénzügyi és számviteli ellenőrzésen túl – a tőle független szakmai értékelés biztosítása, ami növeli a felhasználás átláthatóságát, és egyben elősegíti a nemzeti innovációs rendszer tanulását, fejlődését.”

16. Köszönöm megtisztelő figyelmüket! balogh.tamas@gkm.gov.hu