Kvalitetsmålinger

1. Kvalitetsmålinger Borås 18.januar 2006

2. Folkebibliotekerne er præget af • Faldende udlån af bøger og større gallring • Ændringer i brugsmønstre: nye brugergrupper samt mindre intensivt brug af brugerne • Mediedifferentiering og nye medier er dyrere end traditionelle • Konkurrence fra søgemaskiner og boghandlere, elektroniske spørgetjenester • Mange nye nettjenester, der kun anvendes i begrænset udstrækning

3. Folkebibliotekerne er præget af (2) • Mange tjenester ingen har bedt om • Velvillighed fra alle, • En vis autopoisis eller selvfortolkning af egne opgaver og en social konstruktion af brugere og brugerbehov • Generationsproblemer og kommunikation med unge • Frafald af unge brugere • Mindre kvalitet for den ”græssende” bruger?

4. Kvalitet: et multidimensionalt begreb • Kvalitet som excellence • Kvalitet som perfektion • Kvalitet som ”fitness for purpose” (service kvalitet) • Kvalitet som ”value for money” Return on investment, omkostninger etc.

5. Kvalitetsstyring • Kvalitetsstyring (Quality Management) • Kvalitetssikring • Lever man op til standarder, der er fastsatte • Kvalitetsforbedring • Fokus på standarder, der skal overgåes • Fokus på processer og kvalitets”drivers” f.eks. Personale, processer og tilsvarende.

6. Kvalitetsdimensioner

7. Kvalitetsmålinger: Indikatorer • Benyttelse af biblioteket (4) • Brugernes aktiviteter (2) • Forventninger og tilfredshed (4) • Evaluering af bestanden (4) • Evaluering af katalogen (2) • Tilgængelighed og ventetider (4) • Betjeningshastighed (3) • Evaluering af referencearbejde (2) • Personalet (2) • Økonomiske indikatorer (5) • I alt 32 indikatorer

8. Modeller vedr. organisatorisk effektivitet

9. Kriterier for målsætningsemner • er tidskrævende for personale og brugere • kræver meget plads • koster mange penge • berører mange mennesker • relateres til målsætningen • er lette at definere, beskrive og afgrænse • er lette at indsamle data om • berører forhold, man kan og tør gøre noget ved

10. Måleforudsætninger • Et klart teoretisk defineret begreb • Begrebets dimensioner • Begrebet skal kunne operationaliseres gennem en måleoperation • Indikatorerne skal være konsistente og dækkende • Et begreb skal normalt måles gennem flere indikatorer

11. Fysiske besøgende Virtuelle besøgende lånere Fjernbrugere Brugere Befolkning

12. Brugere Fjernbrugere Registrerede lånere Ikke registrerede brugere

13. Typer af mål • Kapacitetsmål (inputmål som antal af…) • Brugsmål (outputmål som hvor meget eller hvor mange…) • Efficiensmål (omkostning pr enhed som input målt i forhold til brug, impact…..) • Effektmål (hvad er virkningen af en service • Effektivitetsmål eller outcome-mål (mål i forhold til mission og målsætninger…)

14. Målingers dimensioner • Hvor meget • Ressourcer og markedsandel • Hvor mange • Workload, brugsomfang, antal kunder • Hvor godt • Kundeforventninger og ”objektive mål” • Hvor værdifuld • Konsekvenser af brug • Hvor tilfreds og loyal • brugerinteraktion

15. Evaluering • Er I princippet en del af strategisk planlægning • Kan henføres til NPM • Er orienteret mod marked, effektivisering og kunder • Er en diskurs • Har sjældent store effekter • Baserer sig principielt på en model om rationalitet

16. Evalueringsspørgsmål • Hvor meget og hvor mange • hvor økonomisk • hvor hurtigt og hvor nøjagtigt • hvor forudseende • hvor godt • hvor værdifuldt og hvor troværdigt • hvor høfligt • hvor tilfreds

17. Evalueringers formål (dorte skot hansen)

18. Servicekvalitet - baggrund • Introduceret i 1988 • 22 parrede udsagn, der måler forventninger og oplevelser i forhold til væsentlighed • 22 udsagn handler om 5 dimensioner som faktorvægte Udsagnene er fast strukturerede og kan ikke ændres fundamentalt (udviklet måleinstrument)

19. Balanced scorecard Finansielle mål Mission, strategi og mål Innovation og læring Kunder, brugere Internt perspektiv: Produkter og processer

20. BSC: De 4 perspektiver • Kundernes syn på kvalitet og performance • Læringsperspektivet • Infrastruktur vedrørende mennesker, systemer og procedurer • Kritiske processer, serviceportefølje og processer • Bottom line, omkostninger, ressourceallokering etc.

21. BSC: Mål og perspektiver • For hvert perspektiv • Strategiske mål (Objectives) • Indikatorer • Target eller målbare formuleringer • Samlet anbefales 20 – 25 indikatorer dækkende de 4 perspektiver

22. BSC: Kriterier for valg af strategiske mål eller objectives (SMART) • Specifikke • Målbare og kvantificerbare • Achievable, altså opnåelige og realistiske i organisatorisk kontekst og i en ressourcesammenhæng • Relevant, relaterer sig til overordnede mål og er vigtige for succes • Timely, rettidige i forhold til for eksempel marked.

23. Eksempel: Måling af kompetence, interne og eksterne strukturer

24. Indikatorer • Hvilke indikatorer skal/kan hver indsats have Indikatorer måler • Effekter • Aktiviteter • Ressourcesammensætninger

25. Klassifikation • Andel bibliotekarer af antal ansatte • Andel materialeudgifter af budgettet • Andel interurban indlån af udlån • Andel fornyelser af udlån • Andel PC – reserveringer af reserveringer • Etc…

26. Mål indgår altså i en organisatorisk sammenhæng • Missioner, visioner og værdi for kunden: Videnfortælling • Ledelsesudfordringer • Indsatser og indsatsområder • Indikatorer • Sammenhæng til strategisk ledelse

27. Videnfortælling • Hvad er ydelsen eller servicen • Hvad forskel gør ydelsen for kunden • Hvilke ressourcer er nødvendige for at kunne levere ydelsen • Sammenhæng mellem brugsværdi og ressourcer

28. Ledelsesudfordringer og indsatser • Hvilke eksisterende ressourcer skal styrkes • Hvilke nye ressourcer er der brug for • Hvilke indsatser skal iværksættes • Hvilke indsatser skal prioriteres

29. Generelle ledelsesudfordringer • Rekruttering og fastholdelse af kompetencer • Udvikling af processer • Sammensætning af komptencer på tværs i virksomheden • Synliggørelse • Partnerskab • Adgang til eksterne (viden)ressourcer

30. Mål og indikatorer i organisatorisk sammenhæng

31. Interessentvurdering af væsentlighed og kvalitet i servicer

32. Problemer med måling af netværksydelser • IT forandringer kræver hele tiden nye mål • Mål og indikatorer har en begrænset levetid • Økonomi til og viden om måling mangler • Den komplekse omverden skaber mental paralysering og mistro til målingers anvendelighed

33. Evaluering af kompetence

34. Dimensioner af informationskompetence • Adfærdsændringer • Søgeadfærd • Analyseadfærd • Kognitive ændringer • Viden, færdigheder og holdninger • Analytiske kompetencer • Oplevelsesmæssige ændringer

35. Centrale spørgsmål • Forbedres de studerendes performance gennem deres kontakt med biblioteket? • Forbedres de studerendes chancer for succes gennem deres kontakt med biblioteket? • Giver bibliotekets undervisning en højere grad af informationskompetence? • Er lærerne gennem samarbejde med biblioteket mere tilbøjelige til at integrere ”biblioteksforhold” i undervisningen? • Får studerende, der bruger biblioteket, et mere tilfredsstillende ”studieliv”?

36. Learning outcomes • Hvad har de studerende behov for at lære? • Hjælper biblioteket dem med det? • Hvordan gør biblioteket det? • Hvor godt gør biblioteket det? • Hvorledes kan biblioteket forsætte med og forbedre indsatsen?

37. Portfolio Højttænkingsprotokol Fokuserede samtaler Indholdsanalyse Tests opgavebedømmelse Fokusgruppe Programevaluering Exit interviews Ekstern bedømmelse Observationer Self-assessments Surveys Dataindsamlingsmetoder

38. Konteksten for måling Omverdenskrav Institutionens strategiske mål Organisering af processer Kompetencer og kultur Informationskompetence Læringsmiljø: Værdier og normer Læringsmiljø: teknologi og ressourcer Kognitive ændringer Adfærdsmæssige ændringer Holdningsmæssige ændringer

39. Value for money (1) • Kontingent værdisætning • WTP: willingness to pay • WTA: Willingness to accept • Alternativers pris • Investering i servicen (hvad koster det at bruge den)

40. Value for money 2 • Forbedrer livskvalitet • Øger personlig selvrealisering • Øger læselyst • Er en kilde til personlig gælde • Øger lokale ejendomsværdier • Medvirker til forretningssucces • etc

41. Kundetilfredshed og servicekvalitet • Servicekvalitet består af indhold og kontekst • kontekst dækker oplevelsen • det danner oplevelsen eller indtryk eller • kundens virkelighed • perception ændres af oplevelser

42. Gap - modeller • Kundens forventninger og ledelsens opfattelse af disse forventninger • Ledelsens opfattelse af kundens forventninger og service kvalitets standarder • Standarder og faktisk service leverance • Faktisk service leverance og kommunikationen til kunden • Kundens forventninger til en service og oplevelsen af servicen

43. De 5 dimensioner • Tanglible (Det fysiske sevicemiljø): Hvorledes lokaler, udstyr, materialer og personer fremtræder • Reliability (Troværdighed): Evnen til at levere den lovede serviceydelse nøjagtigt og som lovet • Responsiveness (Villighed): Villighed til at hjælpe kunderne og levere hurtig service • Assurance (Forsikring eller sikkerhed): De ansattes kompetence, viden og høflighed og evne til at fremtræde troværdige • Emphaty (Indlevelse): Den generelle og individuelle opmærksomhed virksomheden og dens ansatte giver kunderne.

44. Dimensionerne • Dimensionerne er uafklarede, f.eks. tyder noget på, at emphaty and assurance er nogenlunde det samme: • Forslag: • Det fysiske miljø, service effektivitet samt servicens virkning. • Loyalitet

45. Skalaen • En asymmetrisk skala • Fortolkninger af skalaen • Forventninger er ikke statiske • Forventninger • Problemer med den aritmetiske differens

46. Modeludvikling • Brugerundersøgelser • Interesssentundersøgelser • Servqual – modeller (standardiserede) • Libqual (standardiseret model) • ECSI (European Customer Satisfaction Index) • Outcomes og Value-målinger er i sin vorden

47. Brugerundersøgelser anvendes til • instrumentel beslutningsstøtte • legitimation • konceptualisering • vidensophobning • politisk ammunition Danmarks Biblioteksskole

48. Normale emner • Brugernes tilfredshed med besøget • Samlingens tilgængelighed og anvendelse • Samlingernes totale benyttelse • Dokumentleveringshastigheder • Antal brugere • Omfanget af ekstern anvendelse • Anvendelse af faciliteter • Bedømmelser af referencetjenesten • Brugertilfredshed med referencetjenesten • Kvaliteten af databasesøgninger

49. Nøglebegreber i undersøgelsen Brugernes: • Udbytte • Tilfredshed • Forventninger • Opfattelser • Holdninger • Adfærd

50. Bestandsudvikling som eksempel på forskellige evalueringsperspektiver • Størrelse og sammensætning • Brug – omfang og møsnstre • Brug – indlån • Brug – output og impact i forhold til målsætning • Processer, ventetid, bestillingsprocedurer • Tilfredshed og forventninger