Uniwersytecka Komisja Nauki Kielce, 06.06.2014.

1. Parametryzacja i kategoryzacja Jednostek Naukowych wprowadzenie do dyskusji Uniwersytecka Komisja Nauki Kielce, 06.06.2014. Stanisław Kistryn

2. Kryteria • Cztery kryteria oceny dla wszystkich JN: • Osiągnięcia naukowe i twórcze • Potencjał naukowy • Materialne efekty działalności naukowej • Pozostałe efekty działalności naukowej ►różne wagi kryteriów Określenie kategorii A+ ►ocena ekspercka z uwzględnieniem dodatkowych kryteriów Kategoryzacja JN - wprowadzenie do dyskusji

3. Kategoryzacja • ► Grupy Wspólnej Oceny • porównanie jednostek o zbliżonych cechach (w pionach • rodzajowych i grupach dziedzin nauki) • ►Jednostki Referencyjne • porównanie punktacji jednostek z wzorcem; • minimalne wymaganie wartości kryteriów p1, …, p4 dla • przekroczenia progów kategorii A (B→A) i B (C→B) • ►Kategoryzacja • włączenie jednostek referencyjnych AB i BCdo rankingu; • odniesienie pozycji każdej jednostki do położenia w rankingu • jednostek referencyjnych AB i BC Kategoryzacja JN - wprowadzenie do dyskusji

4. Kategoryzacja X Y Ankieta JN Ankieta JN g1R1 p1 p1 g2R2 p2 p2 g3R3 p3 p3 g4R4 p4 p4 Ranking: ● Porównanie jednostek parami ważoną relacją przewyższania ● Uporządkowanie wg wyników Porównanie ocen dla każdego z i=4 kryteriów piX↔piY→Ri Jednostki otrzymują punkty w zakresie (–gi÷gi ) Wynikiem porównaniapary jednostek jest dla każdej z nich sumapunktów z 4 porównań par ocen (wszystkie kryteria) Jednostki można uszeregować ze względu na sumę punktów ze wszystkich porównań w parach Σ Kategoryzacja JN - wprowadzenie do dyskusji

5. Wyniki ogólne(przed rozpatrzeniem odwołań) ►A+ 37 3,8 % ►A 308 32,0 % ►B 541 56,2 % ►C 77 8,0 % Zmiana odsetka kategorii 2010-2013 (w %) Kategoryzacja JN - wprowadzenie do dyskusji

6. Kategorie według rodzaju Jednostek Naukowych Liczba przyznanych kategorii Kategoria Nauki Hum. + Społ. Nauki Ścisłe + Inżyn. Nauki o Życiu Nauki o Sztuce i Tw. Artyst. Ogólnie JU PAN IB In JU PAN IB JU PAN IB JU PAN IB JU A+ 23 12 2 0 8 4 0 4 3 2 2 9 5 0 A 225 42 35 6 77 15 21 20 56 19 12 72 8 2 B 85 7 23 451 15 70 5 115 6 40 73 178 2 7 C 57 1 8 11 18 0 0 15 0 6 17 1 2 7 Kategoryzacja JN - wprowadzenie do dyskusji

7. Kategoryzacja - propozycje(prezentacje UKN KRUP i KN KRASP) • Wstępny zestaw uwag, wątpliwości, propozycji • Ustawa przyjęta jako „dana”, trudne zmiany (jednakżepożądane) • zapisy podziałów JN w grupy dziedzin oraz grupy rodzajowe, odniesienie międzynarodowe; kategoryzacja jednostek podstawowych • Rozporządzenie – do „łatwej zmiany” • kryteria, parametry, tryb itp.. Kategoryzacja JN - wprowadzenie do dyskusji

8. Kategoryzacja - pytania • 1. Podział na Grupy Wspólnej Oceny • Zasady przypisywania do GWO • Jednostki interdyscyplinarne → c.d.n. • 2. Kryteria oceny • Ilość kryteriów (korelacje obecnych) • Zawartość (parametry) kryteriów – szczegółowość • Audyt ?! • Kryteria oceny czasopism naukowych Kategoryzacja JN - wprowadzenie do dyskusji

9. Kategoryzacja - pytania 35 20 15 25 • 3. Wagi kryteriów • Odzwierciedlenie misji JN ? • Opinie ekspertów • 4. Tryb kategoryzacji • Metoda porównań parami → c.d.n. • 5. Definicja jednostek referencyjnych • Algorytm, wartości – dostępność • Analiza statystyczna wartości vs. określenie ekspertów w poszczególnych dziedzinach (zwłaszcza kryterium 1) Kategoryzacja JN - wprowadzenie do dyskusji

10. Kategoryzacja - pytania • 6. Zespoły ewaluacyjne • Tryb powoływana, skład, liczebność • Zakres prac, rola w typowaniu A+ • 7. Jednostki A+ • Zestaw kryteriów; audyt ? • Eksperci vs. algorytm? • 8. Jednostki interdyscyplinarne • Przydzielanie do GWO – zasady ? • Metoda „dedykowanych” jednostek referencyjnych” Kategoryzacja JN - wprowadzenie do dyskusji

11. Propozycje i postulaty ● Porównanie parami – tylko dana JN z jednostkami referencyjnymi AB i BC → kategoria ustalona poprzez relację przewyższania danej JN względem AB / BC JN > AB > BC → kategoria A AB > JN > BC → kategoria B AB > BC > JN → kategoria C ►Taka sama procedura w trakcie cyklicznej kategoryzacji oraz pomiędzy tymi akcjami ► Jeśli pożądane ustalenie rankingu w GWO – możliwe na podstawie wyniku liczbowego porównania wszystkich JN z jedną z jednostek referencyjnych Kategoryzacja JN - wprowadzenie do dyskusji

12. Jednostki niejednorodne JR(D2) JR(D3) JR(D1) p1(D2) p1(D3) p1(D1) p2(D2) p2(D3) p2(D1) p3(D2) p3(D3) p3(D1) p4(D2) p4(D3) p4(D1) ● Jednostki „czyste” w dziedzinach Dk (np. D1, D2, D3) → jednostki referencyjne JR(Dk) Kategoryzacja JN - wprowadzenie do dyskusji

13. Jednostki niejednorodne JM JR(Dk) JR(JM) d1 p1(Dk) p1(JM) p2(Dk) p2(JM) d2 p3(Dk) p3(JM) p4(Dk) p4(JM) d3 ● Jednostki „czyste” w dziedzinach Dk (np. D1, D2, D3) → jednostki referencyjne JR(Dk) ● Jednostka „mieszana”; udziały procentowe dziedzin dk → dedykowana jednostka referencyjna JR(JM) pk(JM) = d1• pk(D1) + + d2• pk(D2) + + d3• pk(D3) k = 1, 2, 3, 4 Możliwe analogiczne „mieszanie” wag Kategoryzacja JN - wprowadzenie do dyskusji

14. Postulaty środowiskowe • Stabilność zasad w dłuższym okresie • Jawność danych JN • Optymalizacja ilości parametrów • eliminacja korelujących i nienaukowych • Uzależnienie finansowania od kategorii • Nagroda dla najlepszych w postaci • finansowania audytu międzynarodowego • Przydział do GWO • Punktacja czasopism … Kategoryzacja JN - wprowadzenie do dyskusji

15. 15 20 25 30 35 40 45 50 8% 23% 5% 20% 2% 17% 14% 11% Ocena czasopism naukowych Zasady oceny Lista A: od 15 do 50 punktów w zależności od IF > 0,005 (JCR, punktacja osobno w grupach tematycznych) najniższy IF w grupie najwyższy IF w grupie Lista C: 10 punktów (ERIH) Kategoryzacja JN - wprowadzenie do dyskusji

16. Ocena czasopism naukowych Zasady oceny • Lista B: od 1 do 10 punktów (co 1); • kryteria wstępne • parametry szczegółowe – podstawa punktacji • Dane do analizy na podstawie składanych ankiet (system elektroniczny – http://pbn.nauka.gov.pl/) • Czasopisma kwalifikowane do trzech obszarów wiedzy: • grupa nauk humanistycznych (H) • grupa nauk społecznych (S) • grupa nauk ścisłych, technicznych, medycznych i przyrodniczych (TZ) Kategoryzacja JN - wprowadzenie do dyskusji

17. Postulaty środowiskowe • „Przedziałowość” listy A; • JCR, SCOPUS, … ? • Zasadność listy ERIH • Ocena monografii • Podział na dyscypliny • Lista B – kontrowersje: • likwidować stopniowo / uzupełniać • Zasadność oceny artykuł ≡ czasopismo • Cała władza w ręce Komitetów … Kategoryzacja JN - wprowadzenie do dyskusji

18. Zamiast konkluzji – czyżby kryzys oceniania ? Kategoryzacja JN - wprowadzenie do dyskusji

19. Zamiast konkluzji – czyżby kryzys oceniania ? Świat nie chce przystawać do naszych oczekiwań Kategoryzacja JN - wprowadzenie do dyskusji