1 / 15

Er standarder en betingelse for godt evalueringsarbeid?

Er standarder en betingelse for godt evalueringsarbeid?. Foredrag på EVA-seminar 8 Hurdalsjøen 5-6 september 2002 Hans Torvatn, SINTEF Teknologiledelse. Hva er en standard?. Ikke et helt enkelt begrep, men her definerer jeg det som: En (eller flere) rutine(r) som forteller

kyle
Download Presentation

Er standarder en betingelse for godt evalueringsarbeid?

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Er standarder en betingelsefor godt evalueringsarbeid? Foredrag på EVA-seminar 8 Hurdalsjøen 5-6 september 2002 Hans Torvatn, SINTEF Teknologiledelse

  2. Hva er en standard? • Ikke et helt enkelt begrep, men her definerer jeg det som: • En (eller flere) rutine(r) som forteller • Hvilke typer arbeid som skal utføres • Hvordan et arbeid skal utføres • Hvilke “produkt” et arbeid skal resultere i • Grovt sagt: norm for arbeid

  3. Svaret på spørsmålet: • JA! • Utvetydig, uten forbehold • Men oppgaven var vel et lurespørsmål….

  4. Hvorfor skal vi ha standarder? • Standarder gir retningslinjer for hvordan evalueringer skal utføres (hjelper før, underveis og i vurdering av kvalitet) • Standarder forteller noe om hva som er godt og dårlig evalueringsarbeid • Det finnes en rekke implisitte standarder- eksplisitte er bedre fordi: • Gir bedre hjelp på forhånd/underveis • Revideres

  5. Dette er gammelt nytt-hvorfor har vi ikke standarder allerede? • Det er lettere å anbefale standarder enn å lage gode standarder. Typiske feil: • For ensidig/ overforenklet eller for kompliserte • For få eller for mange (1 standard er garantert for lite!) • For generelle (høyt nivå) eller for spesifikke (detaljerte) • Politisk gitt • Gis bare til evaluatorene

  6. Eksempel på enøyd standard

  7. Eksempel på overordnede statander: Dagens AEA-standarder • Guiding Principles (All evaluators) • Systematic inquiry • Competence • Integrety/honesty • Respect for people • Responsibility for general and public welfare • Program Evaluation Standards (Ed.) • Personell Evaluation Standards

  8. Videre detaljering av standarder: AEA program evaluation standards • Utility standards (7) • Feasiblity standards (3) • Propriety standards (8) • Accuracy standards (12) • Ulike standarder til ulik bruk! • Fremdeles “høyt” nivå!

  9. Vanskelig å komme fra teori til praksis i standardarbeidet • Mulighetene for dårlige standarder er mange- og vi har alle sett eksempler på dårlige/ unødvendige standarder • Både oppdragsgiver og evaluator kan ha fordeler av unngå at det stilles krav til evalueringen • Utvikling av standard er arbeidskrevende-lettere å unngå arbeidet med å utvikle dem • Men det bør gjøres- oppgave for NFR

  10. Spørsmålet er ikke ja eller nei til standarder i evaluering.. • Når trenger vi standarder? • Hvem skal lage dem? (Maktposisjon) • På hvilket nivå? • Personellkrav? • Metode(r) krav? • Etikk-krav? • Analyse-krav? • Vurdering/bedømmelse?

  11. Hvor brenner det mest? • Evaluatorene er faktisk den gruppen som det allerede finnes mest standarder for (teorier, kollegaers praksis, utdanning, allmene metodekrav)- men det mangler krav til vurdering • Oppdragsgivere- ingen krav til profesjonalitet i bestillerfunksjon • Brukere- ingen krav til å levere data

  12. Behov for standarder for vurdering • Hva er evaluators grunnlag for å si at noe er godt/dårlig? • Trenger standardspørsmål for å sammenligne addisjonalitet,bruker-tilfredshet, økonomisk utvikling, kostnadsstruktur mm • Trenger nivå for å kunne si hva som er godt eller dårlig (Er 2 av 3 fornøyde godt, middels eller dårlig? Hva er rimelige kostnader ved drift av program?) • Erfaringsbaserte justeringer av brukerutsagn (Hervik-Rolfsens konstant)

  13. Standard for oppdragsgiver • Rutiner for tidspunkt for evaluering • Rutiner for tema som skal tas opp i evalueringen (sikre sammenligning) • Rutiner for invitasjon til å komme med tilbud (EØS-reglene vil vel hjelpe) • Rutiner for prisfastsetting- hvor mye penger skal vi bruke på en evaluering • Rutiner for kontakt og rapportering • Rutiner for oppsummering og videreutvikling av evaluering (inkl. Standarder)

  14. Standarder for brukere • Vi må kunne kreve av brukerne at de stiller med en del opplysninger om seg selv i forbindelse med evalueringene • Svare på spørreskjema som tar under 30 minutter • Levere fra seg økonomiske data før under og etter deltakelse (spesifisert hva, når og hvordan ved oppstart)

  15. En liten advarsel til slutt • Standarder er en god ting- det bør utvikles flere • Standarder bør definere minimum- ikke maksimum praksis • Husk også at det må være rom for å gjøre ting annerledes enn det standardene sier • Standarder MÅ utvikles og revideres

More Related