Laatukoulutus 22.05.2007 TUTKIMUKSEN LAADUN MITTAREISTA

1. Laatukoulutus 22.05.2007TUTKIMUKSEN LAADUN MITTAREISTA Tutkimuspäällikkö Sirkka-Liisa Korppi-Tommola

2. Miten tutkimuksen laatua mitataan? • Tutkimuksen arvioinnissa käytettyjä mittareita • Opetusministeriön käyttämät mittarit • Bibliometriset aineistot julkaisujen laadun mittareina • Mittarit ja tieteenalojen väliset erot

3. Tutkimuksen kokonaisarviointiJyväskylä • I. Tutkimuksen laatu • 1.tieteellinen merkittävyys ja erinomaisuus • 2.kansallinen ja kansainvälinen yhteistyö • 3.julkaisut (käyttäen 7-portaista asteikkoa) • 4.tohtorikoulutus ja post doctoral -aktiviteetit • 5.tutkimusstrategia ja tieteellinen johtajuus • II. Yhteiskunnallinen vaikuttavuus • 6. tutkimuksen käytännön merkitys yhteiskunnalle/suuren yleisön tietoisuuteen saattaminen

4. Tutkimuksen kokonaisarviointiAineistoja laadun arvioinnissa 1. Tieteellinen erinomaisuus, merkittävyys Kuvaukset laitoksen tärkeimmistä tutkimustuloksista ja niihin liittyvät julkaisut> vertaisarviointi • viittaukset julkaisuihin> sitaatiotietokannat 2. Kansallinen ja kansainvälinen yhteistyö • yhteisprojektit • yhteisjulkaisut • laadulla kilpailtu tutkimusrahoitus 4. Tohtorikoulutus ja post docit /henkiset resurssit - Tohtorikoulutettavat ja tohtoritutkinnot, tohtoritutkijoiden määrä

5. Tutkimuksen kokonaisarviointi Julkaisut tutkimuksen laadun mittarina Mittarina referoitujen, kv-tieteellisissä lehdissä ilmestyneiden artikkeleiden osuus kaikista tieteellisistä julkaisuista (lähde:KOTA-tietokanta) KOTA MÄÄRITTELYT Yliopiston laitosten henkilökunnan julkaisemien tieteellisten julkaisujen lukumäärä/kalenterivuosi. LUOKITTELU • Asiantuntijoiden hyväksymät referee-artikkelit. • Kokoomateoksissa tai painetuissa kongressijulkaisuissa ilmestyneet artikkelit. • Monografiat. • Yliopistojen omissa sarjoissa julkaistut artikkelit. JAOTTELU: Suomessa julkaistut, ulkomailla julkaistut.

6. Opetusministeriön käyttämät tutkimuksen tuloksellisuusmittarit • Suomen Akatemian nimeämät huippuyksiköt • Tieteellisten julkaisujen määrä suhteutettuna tutkimushenkilöstön määrään • Oma aktiivisuus kansainvälisessä tutkimusyhteistyössä

7. Bibliometriset aineistojen käytettävyys yliopistojen julkaisujen laadun ja tuottavuuden arvioinnisssa Olli Poropudas, Maija Miettinen, Jorma Selovuori, Hanna-Mari Pasanen: OPM:n julkaisuja 2007:2 Hankkeen tavoite: Selvittää bibiliometristen aineistojen käytettävyys yliopistojen välisessä vertailussa (ja kaukotavoitteena yliopistojen rahanjaossa?) • Käytetyt tietolähteet - julkaisut : KOTA, ISI – NCR *) - viittaukset (NCR) - henkilötyövuodet (Tilastokeskus) • luokitukset (KOTA, NCR, ISI) *) ISI= Institute for Scientific Information (ISI Web of Knowledge) NCR= National Citation Report

8. Johtopäätöksiä Olli Poropudas 24.4.2007

9. Johtopäätökset: Olli Poropudas 24.4.2007

10. Johtopäätökset: Olli Poropudas 24.4.2007

11. Johtopäätökset - ISIn aineistot, jako kahteen: luonnon-, lääketiede, tekniikka YES, yhteiskunta-, humanistiset tieteet NO - Shanghain lista on muotopuoli - luonnon-, lääketiede, tekniikka jne. ISIn aineistot käyttökelpoisia yliopistojen välisessä vertailussa -yliopistojen tieteellinen tuottavuus laskenut Olli Poropudas: 24.4.2007 tiedeneuvoston kokous

12. European Reference Index for Humanities (ERIH) • Tavoitteena humanististen tieteiden näkyvyyden parantaminen ja vertailtavuuden lisääminen: • yhteiset arviointikriteerit • kansainväliset tieteenalojen väliset vertailut • selkeät julkaisukanavat • tutkimustulosten saavutettavuus paranee

13. ERIH – käytännön toteutus aloitettu 2003 • ESF:n Standing Committee for the Humanities • 15 tieteenalaa mukana (antropologia, arkeologia, taiteiden tutkimus ja taidehistoria, antiikin tutkimus, naistutkimus, historia, tieteen historia ja –filosofia, kielitieteet, kirjallisuus, musiikkitieteet, Aasian ja Afrikan tutkimus, kasvatustieteet, filosofia, psykologia, teologia ja uskontotieteet) • Lista tieteellisistä lehdistä ja julkaisuista kullekin tieteenalalle

14. ERIH - julkaisulistat Julkaisut jaettu kategorioihin A, B, C • A = huipputason kansainvälinen julkaisu (10-25 %) • B = kansainvälinen hyvätasoinen julkaisu • C = kansallinen julkaisu (monissa maissa hyvin tärkeitä; vrt. kielialue) Please read carefully the ERIH guidelines….You should be aware that the distinction between the categories A,B and C is not primarily qualitative; rather, the categorisation also factors in issues such as scope and audience as explained in the guidelines. Lähde: www.esf.org/erih

15. ERIH – nykytila • Ensimmäiset listat julkaistaan vuoden 2007 aikana (maalis-, kesä- ja lokakuussa http://www.esf.org/erih Otteita listasta Linguistics • Journal of African Languages and Linguistics A • Journal of Applied Linguistics C • Journal of Artificial Intelligence Research A • Journal of Celtic Linguistics A • Journal of Child Language A • Journal of Chinese Linguistics A • Journal of Communication A • Journal of Comparative Germanic Linguistics A • Journal of Deaf Studies and Deaf Education B

16. JY:n tutkimusstrategiaMITTARIT Strategian toteutumista mitataan erityisesti tutkimuksen laadun, kansainvälisen vaikuttavuuden ja verkottumisen näkökulmasta. Mittareilla seurataan kehitystrendejä ja prosentuaalisia muutoksia. Lähtötasona on vuosi 2006. Kehitystä seurataan sekä yliopistotasolla että tieteenalakohtaisesti. Tärkeimmät mittarit ovat • Suomen Akatemian, ERC:n, pohjoismaisen ministerineuvoston ja vastaavien nimeämät huippuyksiköt ja akatemiaprofessuurit, • tieteellisten artikkeleiden ja muiden tieteellisten julkaisujen kokonaismäärän kehitys, • kansainvälisten tieteellisten julkaisujen määrän kehitys (Lähde: ISI Web of Science), • laadulla kilpailtu, erityisesti Suomen Akatemian, Tekesin, EU:n ja muu kansainvälinen tutkimusrahoitus,

17. Mittarit jatkuu • koordinoidut EU:n rahoittamat tutkimushankkeet, • kansainvälisen haun kautta rekrytoidut ulkomaiset professorit ja tutkijat, • tieteiden rajapinnoilla syntyneet innovaatiot ja/tai yhteisjulkaisut, • tieteellisissä konferensseissa pidetyt kutsutut esitelmät, • järjestetyt tieteelliset konferenssit, • sektoritutkimuslaitosten kanssa perustetut yhteisvirat tai muut yhteiset resurssit, • kansainväliset tutkimusyhteistyöhön ja tutkijakoulutukseen fokusoidut yhteistyösopimukset.