Tuloksen arvioinnista ja mittaamisesta julkisella sektorilla

1. Tuloksen arvioinnista ja mittaamisesta julkisella sektorilla DI, FM Paula Kujansivu Tampereen teknillinen yliopisto, Mittaritiimi

2. Mittaritiimi Aineettoman pääoman ja liiketoiminnan suorituskyvyn johtamisen tutkimusryhmä • ryhmä tutkii ja kehittää yritysten suorituskyvyn johtamismenetelmiä ja -työkaluja keskittyen seuraaviin teemoihin: • aineettoman pääoman johtaminen • mittaaminen, mittarit ja tunnusluvut • tuottavuus • toimintamallina yritysyhteistyössä toteutettavat tutkimusprojektit (mm. IC Toolbox ja Momento) • viimeisimpiä case-organisaatioita mm. Jämsän seudun terveydenhuollon kuntayhtymä, Prizztech Oy, Hollming Works Oy, Luvata Pori Oy, Helsingin kaupunki, Value Partners Oy (Mainostoimisto Arvo), Insinööritoimisto Enmac Oy, Fastems Oy Ab, Tamfelt Oyj Abp, Oy Tamglass Ab ja Työtehoseura • ryhmään kuuluu kuusi TTY:n teollisuustalouden ja tiedonhallinnan laitosten tutkijaa – projekteja toteutetaan yhteistyössä muiden tutkimuslaitosten kanssa • Mittaritiimi on perustettu vuonna 1999 • yhteystiedot, projektikuvaukset, ja julkaisut verkkosivuilla: www.tut.fi/pmteam

3. www.tut.fi/pmteam

4. Esityksen sisältö • Tuloksellisuus julkisella sektorilla • Mittausjärjestelmien kehittäminen sekä siihen liittyvät haasteet ja niiden voittaminen • Case - Työtehoseura • Case – Helsingin kaupunki • Yhteenveto ja keskustelua

5. Tuloksellisuus julkisella sektorilla

6. Tuottavuus • tuottavuuden perinteinen määritelmä: tuottavuus = tuotokset / panokset • tuotoksia: tuotteet, palvelut, toiminnot… • panoksia: materiaalit, työvoima, pääoma, energia… • tuottavuutta voidaan tarkastella eri tasoilla: • kansantaloudet • toimialat • yritykset ja julkiset organisaatiot • organisaatioiden yksiköt • yksilöt

7. Asiantuntijatyön tuottavuuteen vaikuttavat tekijät (Antikainen, 2006)

8. Tuottavuus ja tuloksellisuus julkisella sektorilla (Valtiovarainministeriö, 1991)

9. Esimerkkejä julkisten organisaatioiden tuloksellisuuden tekijöistä • tuotokset ja vaikutukset • tuotettujen palvelujen määrä, laatu ja laillisuus • toiminnasta saatavat hyödyt • yhteiskunnalliset vaikutukset • panokset • henkilöstö ja sen osaaminen • henkilöstön terveys ja hyvinvointi • tietojärjestelmät ja muut tekniset apuvälineet • asiakkaiden oma panos • käytössä olevat rahat • johtaminen ja prosessit • ennakoiva henkilöresurssien suunnittelu • organisaation sisäisten ja ulkoisten prosessien sujuvuus • palvelukyky • palvelujen saatavuus ja kattavuus • asiakastyytyväisyys • alueen asukkaiden tyytyväisyys

10. Rakennepääoma • työilmapiiri • arvot ja kulttuuri • dokumentoitu tieto • prosessit ja järjestelmät • immateriaalioikeudet • Suhdepääoma • suhteet asiakkaisiin • suhteet muihin sidosryhmiin • maine • brandit • yhteistyösopimukset • Inhimillinen pääoma • osaaminen • henkilöominaisuudet • asenne • tieto • koulutustausta Organisaation aineeton pääoma

11. Mittausjärjestelmän kehittäminen sekä siihen liittyvät haasteet ja niiden voittaminen

12. Ylläpito / • päivittäminen Eri vaiheet suorituskyvyn mittaamisessa • Suunnittelu • mittauksen käyttötarkoituksen määritys • mittauskohteiden määritys • mittareiden tekninen suunnittelu • mittareiden käyttöperiaatteiden määritys • Käyttöönotto • vaadittavien tietojärjestelmien kehittäminen • tiedottaminen ja kouluttaminen • johdon sitouttaminen • Käyttö • tulosten seuranta ja viestintä • johtopäätösten ja parannustoimenpiteiden tekeminen (esim. Bourne et al., 2003; Neely et al., 2000)

13. Esimerkkejä mittareiden käyttökohteista julkisissa organisaatioissa • tavoitteiden asettaminen ja niiden toteutumisen seuraaminen • kehityskohteiden tunnistaminen • mitattavan asian merkityksen korostaminen • henkilöstön motivointi ja palkitsemisjärjestelmän tukeminen • erilaiset vertailut • budjetin laatiminen ja ennakoiva resurssien kohdentaminen

14. Mittareiden suunnitteluun liittyviä haasteita julkisissa organisaatioissa • paljon sidosryhmiä, joilla ristiriitaiset tavoitteet ja tarpeet • mielipiteet liittyen mittauksen käyttötarkoituksiin (miksi mitata?) • mielipiteet liittyen mittausjärjestelmän sisältöön (mitä mitata?)  päädytään helposti monimutkaiseen järjestelmään • huonosti määritellyt tavoitteet • ongelmat tiiviin ja selkeän strategian määrityksessä • ongelmat tavoitteiden asettamisessa (mikä on toiminnan tarkoitus?) • epätietoisuus eri menestystekijöiden tavoitetasosta (esim. laatu) • haasteelliset mittauskohteet (esim. tuotos ja aineettomat menestystekijät)

15. Julkiset organisaatiot tuottavat palveluja – lisää haasteita mittaamiseen • aineettomuus • tuottaminen ja kuluttaminen tapahtuu samanaikaisesti (työvoimaintensiivisyys, laatu) • palvelua ei voi varastoida • tuotannon standardoiminen haasteellista • tuotokset (palvelut) syntyvät viiveellä – tuotosta ja panosta on vaikea yhdistää toisiinsa

16. Mittaustilanne • käyttötarkoitus • käytettävät resurssit (aika & raha) • muut käytössä olevat mittarit • Menestystekijän ominaisuudet • relevanssi • mitattavuus Kuinka hyvä mittari on? Mittarin hyvyyden arviointi • Mittarin ominaisuudet • validiteetti • reliabiliteetti • käytännöllisyys • relevanssi

17. Esimerkkejä mittareiden arviointikriteereistä palkitsemisjärjestelmien yhteydessä • Miten hyvin mittarit ohjaavat toiminnan tavoitteiden toteutumiseen? • Onko tuloksia mahdollista manipuloida? • Liittyykö mittareihin osaoptimointiriskejä? • Kuinka luotettavaa mittareiden data on? • Voivatko palkitsemisjärjestelmässä mukana olevat henkilöt aidosti vaikuttaa mittarin tuloksiin?

18. Mittareissa havaittuja käytännön ongelmia • mittausmenetelmien puutteet • erilaisten toimintojen ominaispiirteet • palveltavien asiakkaiden erot • puutteellinen informaatio toiminnan ja tavoitteiden kannalta merkityksellisistä tekijöistä • jättävät tilaa selityksille ja erilaisille tulkinnoille • mittausmenetelmien huono hyödyntäminen • riittämätön motivointi, ohjeistus ja koulutus • mittareiden vaatima data kirjataan eri tavalla eri yksiköissä  tulosten luotettavuus heikkenee • kerättävää dataa ei seurata ja analysoida tarpeeksi

19. Ongelmat suorituskyvyn mittaamisessa (Lönnqvist, 2002)

20. Ajatuksia haasteiden voittamisesta • toiminnalle asetetaan jokin konkreettinen pitkän tähtäimen tavoite • tehokkuus • tuottavuus • vaikuttavuus • tuloksellisuus • mittausjärjestelmät suunnitellaan palvelemaan selkeästi määriteltyjä käyttötarkoituksia • eri sidosryhmien mittaamiseen liittyvät tarpeet priorisoidaan • johto laatii suunnitelman mittausinformaation hyödyntämisestä • mittausjärjestelmiä tuetaan motivaatiotekijöillä

21. Case – Työtehoseura

22. Mittariston suunnitteluprojekti Työtehoseurassa • toteutettiin tutkimusosastoilla vuonna 2002 • maa-, metsä- ja kotitalousosastot • yhteensä noin 45 työntekijää • tutkimusprojektit vaihtelevat tieteellisistä tutkimuksista käytännönläheisiin projekteihin • tavoitteena oli suunnitella ja ottaa käyttöön työkalu, jonka avulla • pystytään yhtenäistämään yksittäisen henkilön kehitystavoitteet tutkimusosaston ja koko organisaation tavoitteiden kanssa • viestitään tavoitteista • voidaan ohjata strategian jalkauttamista

23. • tehokas tiedon jakelu • hyödyllisen tiedon tuottaminen Työtehoseuran menestystekijät • kannattavuuden lisääminen • • positiivinen julkisuus Tulos • asiakastyytyväisyys • • uusien rahoituslähteiden löytäminen Käyttäjä Rahoittaja Organisaation toiminnan tehokkuus • toimiva työnjako • tiedon jakaminen ja yhteistyön lisääminen osastojen välillä • akateemisen osaamisen lisääminen • muun osaamisen lisääminen Henkilöstö

24. Työtehoseuran mittareita

25. Case – Helsingin kaupunki

26. Tuottavuuden mittaaminen ja johtaminen Helsingin kaupungissa • tavoitteena kehittää Helsingin kaupungin tuottavuuden mittausta ja johtamista • projektin aikana toteutettavia tehtäviä: • kaupungin virkamiesjohdon haastattelut • tuottavuuden mittauksen pilottiprojektit yksittäisissä palveluissa • koko kaupungin tuottavuuden muutosta mittaavan menetelmän suunnitteleminen • projekti toteutetaan vuosina 2007 ja 2008

27. Koko kaupungin tuottavuuden mittaus(”bottom-up”)

28. Miksi piloteissa lähestymistavaksi valittiin matriisi? • pilottiyksiköiden edustajien kiinnostus matriisia kohtaan • toivomus yhdestä indeksiarvosta, jota selittävät tekijät helposti ymmärrettävissä • toivomukset laadun paremmasta huomioon ottamisesta • pyrkimys käytössä olevien mittareiden merkityksen lisäämiseen • matriisin selkeys ja helppo monistettavuus samankaltaisiin yksiköihin • konkreettisten tavoitteiden asettamisen helppous • ei saatavilla yhtä toimivaa tuotos/panos -mittaria

29. Tuottavuuteen vaikuttavat tekijät – esimerkki päivähoidosta • laskennallisen läsnäolopäivän hinta (ilman vuokria) • S2-opetusta saavien lasten osuus % • tilojen käyttöaste % • lasten määrä / koko henkilökunnan määrä • henkilöstön sairauspoissaolo % • asiakastyytyväisyys (1–5)

30. Esimerkki päiväkotien tuottavuusmatriisista Tavoite vuodeksi 2008 Tulos vuonna 2007

31. Yhteenveto • julkisten organisaatioiden tuloksellisuus on moniulotteinen ilmiö • tuloksellisuuden mittaaminen on haastavaa, mutta mahdollista • mittareiden tulee liittyä tarkasteltavan yksikön toimintaan ja tavoitteisiin • mittareita määritettäessä tulee huomioida mittarin käyttötarkoitus ja kustannus-hyötysuhde • käytännössä mikään mittari ei ole täydellinen • tärkeintä on, että mittari on käyttötarkoituksessaan hyödyllinen • puutteellisellakin mittarilla voidaan saada aikaan toimenpiteitä ja parannuksia! • mittarit ovat vain yksi tapa kerätä informaatiota – kaikkea ei tarvitse mitata!

32. Kirjallisuutta • Bourne, M., Neely, A., Mills, J., Platts, K. (2003), Implementing Performance Measurement Systems: a Literature Review, International Journal of Business Performance Management, Vol. 5, No. 1, s. 1–24. • Boyne, G. A. (2002), Concepts and Indicators of Local Authority Performance: An Evaluation of the Statutory Frameworks in England and Wales, Public Money & Management, Vol. 22, No. 2, s. 17–24. • Jääskeläinen, A., Lönnqvist, A., Laaksonen, T. & Kulmala, H.I. (2007), Empirical analysis on the factors affecting the design of performance measurement systems in public sector, 4th Conference on Performance Measurement and Management Control, Measuring and Rewarding Performance, Nice, France, September 26-28, 2007. • Kujansivu, P., Lönnqvist, A., Jääskeläinen, A., Sillanpää, V. (2007), Liiketoiminnan ainettomat menestystekijät - mittaa, kehitä ja johda, Talentum Media Oy, Helsinki. • Lönnqvist, A., Kujansivu, P., Antikainen, R. (2006), Suorituskyvyn mittaaminen - tunnusluvut asiantuntijaorganisaation johtamisvälineenä, 2. uudistettu painos. Edita Publishing Oy. • Neely, A., Mills, J., Platts, K., Richards, H., Gregory, M., Bourne, M. and Kennerley, M. (2000), Performance Measurement System Design: Developing and Testing a Process-Based Approach, International Journal of Operations & Production Management, Vol. 20, No. 10, s. 1119–1145. • Rantanen, H., Kulmala, H. I., Lönnqvist, A., Kujansivu, P. (2007), Performance Measurement Systems in the Finnish Public Sector, International Journal of Public Sector Management, Vol. 20, No. 5, s. 415-433. • Uusi-Rauva, E. (toim.) (1997), Tuottavuus – mittaa ja menesty. Helsinki, Kauppakaari Oy. • Valtiovarainministeriö (1991), Hallinnon tuottavuusopas, Helsinki.

33. Yhteystiedot paula.kujansivu@tut.fi www.tut.fi/pmteam 040 8490221