Hodnocení výzkumu, vývoje a inovací - co od něj čekáme?

1. RNDr. Marek Blažka Inovace 2012 - 4. prosince 2012 Hodnocení výzkumu, vývoje a inovací- co od něj čekáme?

2. Současné způsoby hodnocení • Hodnocení RVVI („kafemlejnek“) „Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů“ • Hodnocení AV ČR • „Souhrnná zpráva o provedeném hodnocení výzkumné a odborné činnosti pracovišť AV ČR za léta 2005–2009“ • Obě hodnocení mají řadu nedostatků a chyb (podrobněji viz článek v časopise AIP „Inovační podnikání a transfer technologií“ (IV/2012). • JAK TEDY DÁLE?

3. Projekt IPn Metodika • Hlavní problémy: • neustálé posuny zahájení a ukončení projektu, • rizikovost řešení nalezených "nezávislými" a velmi nákladnými projekty (viz "Mezinárodní audit výzkumu, vývoje a inovací v ČR a implementace jeho výsledků do strategických dokumentů" a Aktualizace NP VaVaI ČR 2009-15 v r. 2012), • nereálnost zavedení nákladného systému, • prodloužení „přechodného období“ na min. 9 let (do r. 2017) s vysokým rizikem pro VO • jakákoliv změna (snížení výdajů) způsobí kolaps systému (již nyní deficit 1,5 mld. Kč/r) • odkládání rozhodnutí na neurčito

4. Společné problémy hodnocení K čemu slouží hodnocení? • k rozdělení institucionálních prostředků? nebo • pro kvalitní informaci o úrovni instituce, o její perspektivě a zejména o potenciálu jejích částí a týmů? Obě hodnocení nelze spojit, rozdělení inst. dotací zahrnuje řaduaxiomatických rozdělení(na jednotlivé části výzkumu - rozpočtové kapitoly, skupiny oborů/věd, na základní/aplikovaný VaV, na typy výsledků atd.)

5. Jaké jsou nyní problémy hodnocení (1/4)? • 1. Nejasný cíl hodnocení • Proč se vlastně hodnotí? Jde o rozdělení prostředků nebo o feedback pro výzkumné organizace? Nefunguje ani jedno, rozpočet se stejně dělá od října 2009 jinak a pro jednotlivé VO jsou výsledky hodnocení prakticky k ničemu. • 2. Změny za pochodu bez jasných pravidel předem • U hodnocení RVVI jsou zásadní změny na pořadu jednánítéměř každý rok. U hodnocení AV až dodatečně po ukončení hodnocení ústavy zjišťovaly, jaká byla vlastně konkrétní pravidla a procedury. • 3. Předurčení výsledků hodnocení • Celkové výsledky (na úrovni kapitol a tím i pro VO) jsou předem dány a konkrétní metodika hodnocení ovlivňuje výsledky hodnocení více, než vlastní výsledky organizací.

6. Jaké jsou nyní problémy hodnocení (2/4)? • 4. Malá transparentnost • Plná transparentnost u hodnocení RVVI zmizela po renormalizacích v r. 2010, nyní již nelze výsledky hodnocení veřejně zkontrolovat. O hodnocení AV mají informace jen jeho účastníci, ale to, co je z tohoto hodnocení veřejně přístupné, nenaplňuje znění zákona č. 130/2002 Sb. • 5. Podjatost hodnotitelů • Sílí role hodnotitelů, kteří jsou součástí hodnoceného systému (pro kterou VO nejsou institucionální dotace existenční?) a kteří jsou tak nutně podjatí. • 6. Nákladnost a zátěž pro vědce a výzkumníky • Namísto zjednodušení se způsob hodnocení komplikuje řadou výjimek, které se stávají pravidlem. Zdaleka ne pro všechny vědce a výzkumníky je hodnocení oblíbeným koníčkem a jeho srozumitelnost dramaticky klesá.

7. Jaké jsou nyní problémy hodnocení (3/4)? • 7. Problém výsledků aplikovaného výzkumu a vývoje • Čím dál více dochází k obcházení podstaty hodnocení výsledků aplikovaného VaVaI - ta je v tom, kolik se prodá nebo uplatní výsledků a nikoliv v tom, kolik se na ně probádá nebo vykáže. Čím více mezd utratím, tím více dostanu příště (a jestli výsledky někdo chce nebo ne, přece není podstatné). • 8. Ignorování výsledků programů a výsledků inovací • Totální rezignace na změny v hodnocení výsledků programů (stále se řeší jen výsledky VO), jejichž systém hodnocení se řadu let nezměnil, přestože je zcela neuspokojivý a silně kritizovaný. O hodnocení výsledků inovací se raději vůbec ani nemluví, přestože se tváříme, že je podporujeme (zákon č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací). . • 9. Nejasné a problematické vstupy pro hodnocení • Nejasné vstupy do hodnocení vedou k problémovým výstupům - u RVVI řada druhů výsledků, které se vůbec nepoužívají nebo s výzkumem nemají prakticky nic společného, u AV již zmiňovaná struktura podkladů pro hodnocení.

8. Jaké jsou nyní problémy hodnocení (4/4)? • 10. Antisubsidiarita • O všem podstatném se rozhodne centrálně (to je tzv. "politické rozhodnutí" - např. poměry mezi skupinami oborů jsou politické rozhodnutí?!) místo opaku - maximum ponechat spolu s odpovědností na jednotlivých VO. • *** • Co raději dramaticky zjednodušit systém hodnocení pro rozdělování dotací a uspořené prostředky dát jednotlivým VO, aby si samy zhodnotili kvalitu svých týmů (oddělení, kateder apod.)?

9. Závěrem • Současné způsoby hodnocení už svou historickou úlohu splnily - na rozdíl od situace do r. 2008 je normální, že výzkum končí výsledky a čím jsou kvalitnější, tím lépe. • Je třeba se zamyslet nad tím, co vlastně chceme, kde děláme chyby a jak způsob hodnocení co nejvíce zjednodušit. • Je možné a je nutné změnit filozofii přístupu k hodnocení, přestat ho komplikovat a opakovat staré chyby a velmi rychle začít znovu s tím, co může příští rok skutečně fungovat. • Systém dotací na rozvoj výzkumných organizací se při další změně (např. při snížení výdajů státního rozpočtu na výzkum, vývoj a inovace) zhroutí a pak bude pozdě.

10. děkuji za pozornost Marek Blažka