Projektin ulkoinen arviointi tutkijan työtehtävänä

1. Projektin ulkoinen arviointi tutkijan työtehtävänä Projektit yhteiskuntatieteilijöiden työllistäjänä 25.10.2007 Jukka Oksa Joensuun yliopisto, Karjalan tutkimuslaitos jukka.oksa@joensuu.fi http://cc.joensuu.fi/~alma/lue

2. Tilaajat ja toteuttajat vaihtelevat, esimerkkejä 1) Ministeriöt Liikenneministeriö. Maaseudun tiedonvälityksen kehittämisprojekti. 1992-93. Hankkeen arvioitsija (noin kuukauden työpanos). Ulkoministeriö / Terra Consulting. Arviointi maaseutu- ja maatalousalan lähialueyhteistyöstä 1991-98. Konsulttiryhmän jäsen, 1998-99. (noin neljän kuukauden työpanos) 2) EU –ohjelmat ja kehittämishankkeet Opportunities for Rural Areas –ohjelma, Maaseudun tietotekniikkakokeilut. 1993, 1994. Arvioitsija. (Yht. 3 kk. 2 sop.) EU/ ECOTEC. Väliarviointi North EU Regional Innovation Strategy (Finland and Sweden). Arviointiretkueen jäsen. 1998. (5 työpv.) EU/Interreg NPP DESERVE, 2004 – 07. Palvelujen saatavuus syrjäisellä maaseudulla - mallien ja kokemusten siirtäminen. (3v) 3) Maailmanpankki, Valkovenäjän maaseudun köyhyystutkimus, 1995. Konsultti, member of World Bank Mission. (30 pv) Aasian kehityspankki. Valtatien peruskorjauksen sosiaalisten vaikutusten arviointi. Kirgiisia 1997. Konsultti (1kk)

3. Tilaajat ja toteuttajat vaihtelevat, esimerkkejä 3) Järjestöt Terveyden edistämisen keskus, Sosiaaliturvan keskusliitto. Projektiarviointi Sosiaali- ja terveysjärjestöjen yhteistyöprojektista Pietarissa. Arviointiryhmän jäsen. 1999 (noin viikon työpanos) Leader -ryhmät: Joensuun Seudun Leader (ARVI), 2006, Vaara-Karjalan Leader, 2007. Arviointihankkeiden ohjausryhmien jäsen. 8) SITRA. - Oppiva Ylä-Karjala -projektin arviointitutkimus. 1999 - 2000 - Oppiva Vaara-Karjala hankkeen arviointitutkimus. 2000 - 2001 • Oskujen synty Itä-Suomessa. 2002 – 2003 (kahden hengen arviointiryhmän johtaja ja arvioija, noin 4 vuotta) 9) Karjalan tutkimuslaitos, Alue- ja kuntatutkimuskeskus SPATIA, 2004-2007, arviointiryhmien jäsenenä, maakunnallisia ohjelma-arviointeja (esim. maakuntastrategian väliarvio), maaseudun hankearviointeja (esim. ProAgrian YritysHarava), läänin hankkeita (esim. Itä-Suomen liikenneturvallisuustoiminta).

4. Arviointitoiminnan kasvun taustaa Yhteiskunnan muutoksen hallinta monimutkaistuu. Tasojen ja sektorien määrä kasvaa ja työnjako syvenee. Päättäjät ja valmistelijat tilaavat asiantuntijoilta havaintoja, tulkintaa ja ajattelua.- Kokonaiskäsitys, arvojen ja tavoitteiden toteutuminen, toiminnan merkitykset.Yhteiskunnan syy ja seuraussuhteet sekavia.- Tarve ymmärtää tapahtumaketjuja edes jälkikäteen, esim. kontekstin merkitys, tarkoittamattomien vaikutusten ymmärtäminen.Toiminta verkottuu, yhteistyö tärkeää- Tarve ymmärtää löyhästi toisiinsa liittyneiden toimijoiden tarkoituksia ja luotettavuutta.

5. Arviointitoiminnan lupaukset Pystytään hahmottamaan mitä merkitystä jollakin toimenpiteellä, ohjelmalla tai resurssien siirrolla on. Saadaan tietoa siitä onko resurssit käytetty tehokkaasti ja päättäjien tarkoituksien mukaisesti.Saadaan tietoa siitä mitkä ovat tietyn toimenpiteen tarkoitetut vaikutukset, ovatko ne oikeansuuntaisia ja riittäviä. Saadaan tietoa myös sivuvaikutuksista.Saadaan suosituksia siitä miten asiat olisi pitänyt tehdä ja mitä pitäisi tehdä tulevaisuudessa.

6. Arvioija vai tutkija? "Sinähän olet maaseutututkija. Kyllä sinun pitää pystyä tällainen arvio kirjoittamaan."- projektien tuloksien arvion tilaaja, maatalouden alueviranomainen 1990-luvun puolivälissä"Unohda että olet tutkija. Sinun pitää kirjoittaa arvio. Millaisia hankkeen vaikutukset ovat?- arvioinnin tilaaja, ministeriöstä 1990-luvun lopulla

7. Tutkijan pätevyys on hyvä lähtökohta:Arviointi ja tutkimus: yhtäläisyyksiä Suoritetaan systemaattisia havaintoja. Tehdään analyyttisiä jäsennyksiä ja erotteluja.Tehdään loogisia päätelmiä ja yleistyksiä.Käytetään käsitteitä havaintojen tulkitsemiseen.Käytetään käsitteitä normatiiviseen vertailuun, mittaamiseen ja johtopäätösten (suositusten) tekemiseen.

8. Tutkija pätevyys ei kuitenkaan riitä:Arviointi ja tutkimus: eroja ja erityispiirteitä Arviointikysymykset: eivät ole aina tutkimuskysymyksiä, aina intentionaalisia, usein arvolatautuneita (poliittisia). Tulkintariskit: arvioitsija tekee päätelmiä epävarman aineiston perusteella, nojaten kokemukseensa ja terveeseen järkeen.Puolueellisuus ja objektiivisuus: Arvioijan odotetaan sisäistäneen arvioitavan käytännön ulkoiset ehdot ja intentiot (rajoitteet ja tavoitteet). Käytännön ammattitaito: Arviointi vaatii monien erityistyökalujen sujuvaa käyttöä sekä sosiaalisen ja poliittisen vuorovaikutuksen tajua.

9. Arviointikysymykset ja arvioinnin loogisen viitekehyksen (LogFrame) käsitteet PÄÄMÄÄRÄT (objectives) TAVOITTEET (goals) Projekti TOIMENPITEET (inputs, actions, contributions) TUOTOKSET (outputs) JATKUVUUS (sustainability) VAIKUTUKSET (impacts) TULOKSET (results) Arviointi Etukäteisarviointi Prosessin arviointi Vaikutusten arviointi Ympäristö-vaikutukset (YVA) Taloudelliset vaikutukset Sosiaaliset vaikutukset (SOVA) Kulttuuriset vaikutukset Tehokkuus, tuloksellisuus Yhtenäisyys, osallisuus Joustavuus, luovuus Oppiminen Loogisuus Relevanttius Toteutettavuus

10. Arvioinnin käytännön erityispiirteitä Rahoitus: yleensä kyseessä on tilaustyö Aikataulu: sidoksissa arvion tilaajan prosesseihin, ei työn etenemisen sisäiseen logiikkaan.Osallisuus: arvioitsijan oletetaan olevan vuorovaikutuksessa arvion tilaajan tai arvioitavan toimijaryhmän kanssa – ei tutkijayhteisön.Jatkuvuuden puute (projektiluonne, pätkätyö): arviointi on usein lyhytaikainen tehtävä, jonka oletetaan valmistuvan (loppuvan) määräaikaan mennessä. Kuitenkin suositusten oletetaan vaikuttavan arvioinnin jälkeenkin.

11. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 KVASIKOKEELLINEN KONSTRUKTIVISTINEN Hankkeet ovat ristiriitaisia sosiaalisia konstruktioita, joista toimijat jatkuvasti neuvottelevat. Myös tulosten merkitykset ovat ristiriitaisten tulkintojen kohteena. Arviointi selventää, mistä oikein on kysymys. Arviointi laajentaa yhteistyöpiirejä ja se voi valtaistaa kohderyhmiä. Haetaan kausaaliselitystä hankkeen vaikutuksille. Ennen ja jälkeen mittaukset, koe- ja kontrolliryhmät Löytää ne toimenpiteet jotka tuottavat tavoiteltuja tuloksia. Sopii ohjelmiin jotka pyrkivät vaikuttamaan kohteisiin mitattavalla tavalla. REALISTINEN PRAGMATISTINEN Huomio kohdentuu hankkeiden käytännön toteutettavuuteen. Miten päätöksentekijät hankkeen toteuttajat käsittävät hankkeen. Arviointi valistaa ja auttaa päätöksien teossa ja tunkee mukaan vaikutusvallan ketjuihin. Arvioinnin ja vaikuttamisen raja häviää. Riippuvuus vallan resursseista voi viedä konservatiivisuuteen. Lähtökohtana minkä kausaalisten mekanismien kautta ohjelmat ja hankkeet vaikuttavat. Kausaalisuhteet ovat kuitenkin monitasoisia ja systeemiluonteisia. Arviointi tuottaa tietoa siitä mikä toimii kenenkin kannalta ja missä olosuhteissa. Mikä on hankkeen teoria? "Realistinen evaluaatio on profiililtaan jäsentymätön synteesi kolmesta muusta lähestysmistavasta." (Ahonen)

12. Arviointitutkijan monet roolit Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA VASTAVÄITE Hankkeissa on ristiriitaisia pyrkimyksiä ja eri tulkintoja. TULKITSIJA JA SOVITTELIJA VASTAVÄITE Kaikki käy. Relativismin vaara. VASTAVÄITE Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. KRIITTINEN EKSPERTTI VASTAVÄITE Arviointi kadottaa kriittisyyden. VALLANPITÄJIEN NEUVONANTAJA

13. YhteystiedotJukka OksaJoensuun yliopistoKarjalan tutkimuslaitosPL 111, 80101 Joensuujukka.oksa@joensuu.fi http://cc.joensuu.fi/~alma/lue