Att utvärdera – ett sätt att förändra?

1. Att utvärdera – ett sätt att förändra? Angela Zetterlund, Fil Dr, Biblioteks- och informationsvetenskap. Linnéuniversitet/Växjö

2. Vem är jag? • Folk- och skolbibliotekarie, gamla modellen (1992) • Amanuens/adjunkt/lektor BHS • Doktorand Göteborgs universitet, Lars Höglund – från Umeå (2004) • Lärare : Biblioteket o samhället, organisation och administration, kultur- och infopolitik, ledarskap och projektledning mm • Forskare: Biblioteksförändring; Utvärdering; Vuxnas lärande; Studenters användning av B & I; Joint Use-Libraries; Biblioteksgeografi; Marknadsföring och varumärkesbyggande i bibliotek.

3. Mera… • Idag: Utbildningsansvarig för Bibliotekarieutbildningen I Växjö, Linnéuniversitetet http://lnu.se/amnen/biblioteks--och-informations--vetenskap/kontaktpersoner

4. De svenska biblioteken • Ett gammalt traditionsbundet och stabilt system • Kopplat till skapandet av det “moderna” välfärdssamhället • Grundat på en socialdemokratisk värdebas? • Mång akademiskt professionsområde • Institutionella uppdelningar och klyftor • Informell samverkan • Starka kopplingar till utbildningssystemet och kultursektorn Libraries in Sweden

5. Förändringar i praxis och identitet • Nya bibliotekslagen • Införandet av ny teknik • Informationsutbudets tillväxt • Begränsade resurser att hantera och strukturera samlingarna • Svårförutsägbara och alltmer komplexa användarbehov • Ett framväxande vetenskapligt ämne – B & I • En ny professionell identitet, mer generalistisk • Nya visioner för bibliotekarieyrkets framväxt • En ny samhällsroll?

6. Vanliga dilemman • Hur skall man förstå sig på användarna? • Nya verktyg och arbetsmodeller är sällan helt nya • professionens autonomi visavi användarinflytande • Central kontroll visavi lokal flexibilitet • Folkbildningen visavi utbildningen

7. Institutioner förändras långsamt • Rutiner och praxis, våra osynliga regler • Sättet vi tänker om oss själva och vår verksamhet, våra konceptuella ramar tas förgivet • Våra värderingar och normer, hur vi ser på bibliotekets roll i samhället eller vår funktion i den övergripande organisationen. Den ideologiska karta vi följer. Hur vi ser på vårt uppdrag.

8. Projekt jag har studerat • Utvärdering av Kulturrådsstödda projekt (1987-1999) • BIF – Bibliotek I förändring (1995-1998) • VuxBib – Folkbibliotekens roll I vuxnas lärande (2005-2008) • Futurum.Kom (2010-fortf.) Om varumärkesbyggande och marknadsföring • Gemensamt: Strategiskt och banbrytande utvecklingarbete (radikalare, större, mer innovativa än de ordinära projekten)

9. Forskningsfokus: Hur utvärderar biblioteken sina förändrings- projekt och på vilket sätt bidrar utvärdering till Bibliotekens institutionella utveckling ?

10. Bakgrund • Utvärderingsböljan under 90-talet • Förhoppningar knutna till utvärdering • Men, fungerar det i praktiken?

11. Forskningsfrågor • - Vad är det för typ av studier som genomförs i samband med utvärdering av folkbibliotekens förnyelseinriktade program? • - Vilken kunskap eftersöks i dessa studier och vilka metoder tillämpas? • - Gentemot vilka kriterier bedöms resultaten av programmen när dessa utvärderas och på vilket sätt går bedömningsarbetet till i praktiken? • - Hur bemannas och organiseras utvärderingsarbetet i dessa program? • - I vilken form dokumenteras utvärderingsresultaten och på vilket sätt sprids de vidare för att komma till användning ? • På vilket sätt uppfattar de som deltar i förändrings- och utvärderingsarbetet att utvärdering bidrar till bibliotekens institutionella utveckling?

12. Mina fall

13. Intervjuer • Beslutsfattare och finansiärer - De personer som fattat formella beslut om och givit ekonomiskt stöd till de tre programmen, det vill säga personer i den politiska och administrativa ledningen. I mitt urval finns handläggare på statliga myndigheter, lokala och regionala förvaltningschefer samt kommunpolitiker. • Implementerare- De personer som varit program- och projektledare och de som deltagit på olika nivåer i genomförandeprocessen. Det rör sig i programmen om lokala enhetschefer, bibliotekarier, assistenter och i något fall även en del biblioteksanvändare som varit tillfälligt knutna till programmen. Till denna grupp hör även personer, bibliotekarier främst som arbetat i biblioteken under programmets gång, men inte deltagit direkt i programverksamheten. • Utvärderarna - De personer som ansvarat för och aktivt medverkat i utvärderingsstudierna inom programmet. I programmet är denna grupp den som är mest disparat och omfattar aktörer från flera olika institutioner såväl offentliga som privata samt personer inom programmet som haft denna uppgift. I mitt urval finns bland annat högskolelärare, doktorander och uppsatsstudenter, privata konsulter, tillfälligt anställda bibliotekarier och informatörer, bibliotekarien med förtroendeuppdrag, tjänstemän från ett större mediaföretag och metodexperten från ett statistiskt institut.

14. Dokument • Privat, internt arbetsmaterial– Opublicerat material som exempelvis personalens arbetsdagböcker, mötesanteckningar och minnesanteckningar från enskilda individer eller arbetsgrupper. • Offentligt material– Handlingar och protokoll hos berörda myndigheter och förvaltningar, projektansökningar, beslut och redovisningsrapporter med anknytning till programmen, formell korrespondens, informationsmaterial om exempelvis kurser, mässor och konferenser. Uppgifterna finns i regel arkiverade i offentliga register eller är publicerade inom programmet för offentlig spridning. • Internt utvärderingsmaterial– Opublicerade utvärderingsrapporter och annat underlag som enkätformulär, summerande datasammanställningar, statistiskt material, manus och utkast till utvärderingsavsnitt. • Publicerade utvärderings- och projektrapporter- Publicerade rapporter skapade av och inom programmen i form av utredningar, projektdokumentation, utvärderingar, monografier och delavsnitt i monografier. • Övriga skrifter– Uppsatser, artiklar skrifter med relevans för programmen eller dess olika lokala projekt, men som inte producerats inom programmens ram. Det rör sig här exempelvis om artiklar i dagspress, branschpress, fristående uppsatser från universitet och högskolor o dyl.

15. Resultat – tre strategier

16. Bedömningskriterier • Brukarpreferenser • Mål • Effektivitet • Professionella/institutionella normer • Intressenters krav • Övriga (teorier t.ex) ---undviker samlad bedömning----

17. Vad uppnås? • Prestationer och effekter på kort sikt • Goda möten och relationer • Förbättrad samordning och samverkan • Ökad kunskap ---- inget intresse för effektivitet-------

18. Vad vill biblioteken veta? • Programmets kontext • Tolkningar av mål och intentioner • Implementeringsprocessen • Problem och svårigheter i processen • Bibliotekens inre verksamhet • Användarna ----drivs av att öka sammanhållningen och stärka legitimiteten utåt----

19. Vad räknas som utvärdering? • Slututvärdering (fasaden, efterkonstruktionen) • Lokala användarstudier (dialogverktyget, processtödjande) • Sakinriktade utvärderingar (murbräcka och vapnet i ideologisk kamp) ---- olika studier/olika roller----

20. Dokumenteras resultaten? • Enkla sammanställningar • Förvaltningsrapporter • Publicerade monografier, artiklar • Nej, det mesta sprids muntligt ----- resultaten gallras hårt-----

21. Vem utvärderar? • Interna • Externa • Kombination av interna och externa ------- Lojalitet/kompetens-------

22. Hur sprids de vidare? • Horisontellt – via olika yrkesnätverk • Hierarkiskt - via formella kanaler • Ad-hoc – via debatter, förlag + medier ------allt sprids inte till alla-----

23. Viktiga slutsatser • Utvärderingar av bibliotekens förändringsarbete - inga neutrala tekniska verktyg • Utvärdering är inte samma sak som att mäta • Många undersökningar - Flera parallella strategier

24. Slutsatser • Det finns en ovilja till kritisk granskning av effektiviteten • Kompetensen är otillräcklig både hos interna och externa

25. Slutsatser - användarna • Användarnas erfarenheter viktiga – men bara ibland • Användarnas behov är dåligt klargjorda

26. Slutsatser • Målen sätts i efterhand • Statistik saknar relevans – används som dekoration • Utvärderingar ingår i sociala och ”politiska” spel

27. Slutsatser – utvärderingens bidrag • Både positiva och negativa följder • Stöttar och vägleder processen • Ökar prestationen på kort sikt • Samlar ihop och rundar av satsningen • Efterkonstruerar och rationaliserar • Legitimerar utvecklingens riktning • Symboliserar framsteg, utveckling och effektivitet

28. Slutsatser • Stjäl resurser från ”verksamheten” • Hotar och skrämmer • Skärper konflikter (gamla) • Dämpar kreativitet och förändringsvilja • Ökar osäkerheten och kunskapsbehov • Missförhållanden tonas ned

29. Råd inför egen utvärdering • Vad finns det för behov av utvärdering? • Vad finns det för behov av förnyelse? • Vad står på spel? Makt, intressen, resurser • Det finns alltid problem och konflikter, även om detta inte erkänns • Vad skall ni göra med resultaten? • Resurser till just utvärderingen

30. Råd inför egen utvärdering • Kan man gå ihop och utvärdera, ansvarsfrågan viktig • Vem skall utvärdera • Närhet – distans • Lojalitet-oberoende • Finns det accepterad metod/teknologi? • Var inte rädd för att uppfinna hjulet på nytt • Löpande uppföljning representerar det kända och accepterade, inte alltid det bästa.

31. Råd inför egen utvärdering • Kolla upp vad andra gjort, det finns många utvärderingar i hyllorna (det kallas inte alltid så) • Utvärderingar lever längre än man tror. Ibland är det det enda som finns kvar av en satsning

32. Råd inför utvärdering • Var kortsiktigt pragmatisk • Var långsiktigt kritisk • Involvera många i processen • Men var tydlig över ansvaret