1 / 8

Zkušenosti z kontroly údajů v RIV

Zkušenosti z kontroly údajů v RIV. Kolokvium Řízení, financování a hodnocení SHV Praha, 17. 6. 2010. Kontrola RIV. Zadání ke kontrole výstupů typu B (kniha) a aplikovaných výsledků typu P, S, T, Z byla vyzvána OK SHV v červnu 2008 (stejně jako ostatní komise); zadavatelem byla RVV,

argyle
Download Presentation

Zkušenosti z kontroly údajů v RIV

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Zkušenosti z kontroly údajů v RIV Kolokvium Řízení, financování a hodnocení SHV Praha, 17. 6. 2010

  2. Kontrola RIV • Zadání • ke kontrole výstupů typu B (kniha) a aplikovaných výsledků typu P, S, T, Z byla vyzvána OK SHV v červnu 2008 (stejně jako ostatní komise); • zadavatelem byla RVV, • ve SHV šlo o celkem 3960 položek typu B a 114 položek typu P, S, T, Z za období 2003 až 2007, • odborné komise měly označit ty výsledky, které dle jejich názoru nesplňují definice druhů výsledků, které byly (jsou) platné v roce jejich uplatnění. • Nástroje • kontrola záznamů v RIV, • možnost fyzické kontroly v Národní knihovně.

  3. Kontrola RIV – typ B • Vstupní problémy • definice knihy, monografie, odborné knihy se v průběhu let měnila (2003 - neexistovala Metodika, 2004 - v Metodice není definice knihy, 2005 - kniha = vědecká knižní publikace, 2006 - kniha = odborná kniha, 2007 - kniha = odborná kniha vytvořená jedním autorským kolektivem), • hodnotitelé – členové OK SHV jsou ve střetu zájmů, • kontrola položek v RIV je prováděna ryze na základě formálních znaků výstupu, • OK je jen poradním orgánem; má minimální pravomoci, slabé materiální a finanční zázemí, nízké úvazky členů. Je problematické činit dostatečně transparentní a systematická rozhodnutí o kvalitě publikací (tj. doporučení, že výstup splňující formální kritéria je natolik nekvalitní, že by měl být vyřazen z hodnocení). Výsledky kontrol mohou být poměrně snadno napadnutelné.

  4. Kontrola RIV – typ B • Postup kontroly • ke každému podoboru SHV (AA až AQ dle RIVu) byl z členů OK SHV ustaven garant kontroly, • předseda OK SHV instruoval o přístupech doporučovaných KHV v případech, kdy nejsou pravidla pro kontroly nebo jejich uplatňování jednoznačná. V rámci toho předseda OK tlumočil stanovisko KHV, že v tomto prvním kole kontrol byl OK doporučen benevolentní přístup, • garanti OK SHV zaslali výsledky předběžných kontrol, kde kromě položek k vyřazení označili položky k vizuální kontrole (kontrola vhodná, kontrola nutná), • předseda OK SHV zpracoval kvalitativní a kvantitativní souhrnný přehled výsledků předběžných kontrol pro členy OK SHV, a to v zájmu sladění přístupu a přísnosti hodnocení. • předseda OK SHV zajistil vyhledání a fyzické shromáždění položek doporučených k vizuální kontrole v čítárnách AV a NK. Na základě vizuálních kontrol garanti vypracovali finální seznamy, • předseda OK SHV zpracoval kvalitativní a kvantitativní přehled výsledků a s členy OK provedl drobná doladění finálních výstupů. Na základě zkušeností členů OK SHV z kontroly byla vypracována zpráva.

  5. Kontrola RIV – typ B • Výsledky kontroly • formální kontrola položek v RIV • jako původní vědecké monografie byly v RIV běžně zařazeny cestopisy, beletrie, texty divadelních her, krásná literatura, výběrové bibliografie, ročenky a výroční zprávy, proslovy, učebnice, reportáže, soubory studentských soutěžních prací, turistické průvodce, komerční překlady z cizích jazyků, čtyřstránkové working papers, testy pro přijímací zkoušky na VŠ, příručky, učební texty, propagační brožury, sborníky z konferencí apod., • co přesně je učebnice? Je to text, který slouží primárně pro výuku, neobsahuje nově vytvořené vědecké poznatky, ale pouze shrnutí existujících znalosti? Kde je hranice mezi skutečnou učebnicí a monografii shrnující stav oboru, která se využívá pro výuku? • některé publikace byly zadány vícekrát se stejným ISBN, • rozlišovány a označovány důvody vyřazení. • fyzická kontrola v NK či AV • řada publikací chyběla (vina vydavatele, ne autora), • řada publikací splňujících formální kritéria zařazení do RIV jako typ B jsou z vědeckého hlediska problematické, • subjektivní posuzování vědeckosti publikace, • bez fyzické kontroly nelze poznat skutečný charakter publikace.

  6. Kontrola RIV – typ B • Výsledky kontroly • kvantifikace výsledků kontroly • různí hodnotitelé, různé výsledky (k vyřazení navrženo min. 0 %, max. 20 %; k fyzické kontrole min. 0 %, max. 18 %), • různá míra přísnosti (v rámci OK i mezi OK) ovlivňuje ohodnocení výsledků předkladatelů – střet zájmu, • benevolence není na místě, poškozuje dobré výsledky, • celkově vyřazeno 28 % (tj. 1 110 výsledků); oborově nejvíce 48 % (AF), nejméně 12 % (AB, AK), • podle poskytovatelů vyřazeno nejvíce 56 % (MPSV), nejméně 9 % (MO, MS) • nejvíce vyřazeno za rok 2006 (32 %, tj. 385 výsledků), • 15,3 % nesplňovalokritérium 50 stran.

  7. Kontrola RIV – typ B • Závěry z kontroly • kontrola záznamů typu B v RIV by měla být prováděna, • OK nejsou vhodným hodnotitelem, • byly shrnuty některé zkušenosti OK SHV → zpřesnění definice výstupu typu B, ale další kontroly se nekonaly, i když byly avizovány, • přístup a přísnost kontrol velmi rozdílná → subjektivita hodnocení s dopadem na předkladatele, • posuzování vědeckosti a kvality výstupů typu B je výrazně vázáno na obor, • kontrolu by měli zajišťovat poskytovatelé, • nutnost sankcí za nekvalitní záznam.

  8. Kontrola RIV – typ B Děkuji za pozornost

More Related