critical friend approach evaluation zwischen n he und distanz n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Critical Friend Approach: Evaluation zwischen Nähe und Distanz PowerPoint Presentation
Download Presentation
Critical Friend Approach: Evaluation zwischen Nähe und Distanz

Loading in 2 Seconds...

play fullscreen
1 / 15

Critical Friend Approach: Evaluation zwischen Nähe und Distanz - PowerPoint PPT Presentation


  • 74 Views
  • Uploaded on

Critical Friend Approach: Evaluation zwischen Nähe und Distanz. Das Beispiel der Evaluation Pilotprojekt Betreuungsgutscheine in der Stadt Luzern Jahrestagung der SEVAL 2010, Atelier 1 Franziska Müller, lic.rer.soc Prof. Dr. Andreas Balthasar. Übersicht.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Critical Friend Approach: Evaluation zwischen Nähe und Distanz' - fritz


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
critical friend approach evaluation zwischen n he und distanz

Critical Friend Approach: Evaluation zwischen Nähe und Distanz

Das Beispiel der Evaluation Pilotprojekt Betreuungsgutscheine in der Stadt Luzern

Jahrestagung der SEVAL 2010, Atelier 1

Franziska Müller, lic.rer.soc

Prof. Dr. Andreas Balthasar

bersicht
Übersicht
  • 1. Welche Fragen soll die Evaluation beantworten?
  • 2. Warum soll die Evaluation durchgeführt werden?
  • 3. Wer soll die Verantwortung für die Durchführung der Evaluation haben?
  • 4. Welches Evaluationsdesign soll die Grundlage der Evaluation darstellen?
  • 5. Wie werden die Informationen erhoben und ausgewertet?
  • 6. Was ist vorgesehen, um die Verwendung der Evaluation zu unterstützen?
  • Chancen und Herausforderungen des CFA

Der Critical Friend Approach (CFA) orientiert sich an sechs Fragen, welche eine Evaluation determinieren:

1a welche fragen soll die evaluation gem ss cfa beantworten theorie
1A Welche Fragen soll die Evaluation gemäss CFA beantworten? (Theorie)
  • Der CFA legt grossen Wert auf die Entwicklung eines Wirkungsmodells. Dieses hilft… die Evaluationsgegenstände zu benennen,… die Evaluationsfragen zu präzisieren,… förderliche und hinderliche Einflussfaktoren zu identifizieren.
  • Auf Basis des Wirkungsmodells werden zusammen mit den Projektverantwortlichen die zu beantwortenden Fragen ausgewählt und priorisiert. Das Wirkunkungsmodell stellt während der gesamten Projektdauer eine wichtige Kommunikationsgrundlage dar.
  • Der CFA ist offen für neue Fragestellungen, welche im Laufe der Projektumsetzung auftauchen.
1b welche fragen beantwortet die evaluation betreuungsgutscheine luzern praxis
1B Welche Fragen beantwortet die Evaluation Betreuungsgutscheine Luzern? (Praxis)

Prozess/Output

Outcome

(Reaktion der Zielgruppen)

Impact

(Gesamtgesellschaftliche

Wirkungen)

Subventionierungs-modell

Rechtsungleichheit wird aufgehoben.

Nachfrageentwicklung:Eltern nehmen

Gutscheine in Anspruch. Ihre

Nachfragemacht wird gestärkt.

Vereinbarkeit von Familie

und Beruf wird gestärkt.

Input

Finanzbedarf/Steuerung

Angebotsentwicklung:Qualität und Quantität der

Betreuungsangebote nehmen zu .

Existenzsicherung

wird gestärkt.

Qualitätsentwicklung und -kontrolle

Volkswirtschaftlicher

Nutzen steigt.

Freiwillige direkte

Unterstützung seitens

Arbeitgeber bleibt bestehen.

Kommunikation/Information

Politische Akzeptanz

nimmt zu.

Kontext

Leitsätze der städtischen Gesamtplanung; Zusammensetzung der Regierung; Subvention durch Bund

2a warum soll eine evaluation gem ss cfa durchgef hrt werden theorie
2A Warum soll eine Evaluation gemäss CFA durchgeführt werden? (Theorie)
  • Der CFA kombiniert formative und summative Evaluationszwecke: - Formativ: fortlaufende Optimierung der Projektumsetzung - Summativ: Bilanzierung der Leistungen und Wirkungen
  • Der CFA geht von der Überzeugung aus, dass Evaluationen für die Projektverantwortlichen möglichst nutzbringend sein müssen. Die Evaluation soll die wirkungsorientierte strategische und operative Führung des Projekts erleichtern.
2b warum wird die evaluation betreuungsgutscheine durchgef hrt praxis
2B Warum wird die Evaluation Betreuungsgutscheine durchgeführt? (Praxis)
  • Die Ziele des Pilotprojekts Betreuungsgutscheine Luzern sind:
  • Die Evaluation soll die Projektleitung und den Stadtrat laufend über die Entwicklung des Projekts orientieren und sicherstellen, dass allenfalls notwendige Anpassungen am Pilotversuch umgehend eingeleitet werden.
  • Die Evaluation soll einen Beitrag zur Qualitätssicherung und -entwicklung des Betreuungsangebots leisten.
  • Die Evaluation soll für die Stadt, den Kanton, den Bund und interessierte Gemeinden nützliches Wissen bereitstellen.
  • Die Evaluation soll prüfen, ob die Erwartungen und Zielsetzungen des Pilotversuchs erfüllt werden konnten.
3a wer soll die verantwortung f r die durchf hrung der evaluation haben theorie
3A Wer soll die Verantwortung für die Durchführung der Evaluation haben? (Theorie)
  • Der CFA ist eine Fremdevaluation, legt jedoch Wert auf die Integration selbstreflexiver Elemente seitens der Projektverantwortlichen. Diese sollen befähigt werden, Projektelemente auch eigenständig zu beurteilen und auf dieser Grundlage systematisch zu verbessern (Empowerment).
  • Neben der klassischen Evaluation hat beim CFA die Beratung einen wichtigen Stellenwert. Die Evaluierenden sind externe Beobachter, welche den Projektverantwortlichen beratend zur Verfügung stehen, kritische Fragen stellen oder auf Handlungsbedarf hinweisen.
  • Der CFA legt Wert auf die Partizipation der Projektverantwortlichen am Evaluationsprozess. Dazu finden regelmässige Informations- und Diskussionsveranstaltungen statt.
3b wer hat die verantwortung f r die durchf hrung der evaluation betreuungsgutscheine praxis
3B Wer hat die Verantwortung für die Durchführung der Evaluation Betreuungsgutscheine? (Praxis)
  • Die Evaluation des Pilotprojekts Betreuungsgutscheine weist Elemente einer Fremd- wie auch einer Selbstevaluation auf.
  • Das Evaluationsteam Betreuungsgutscheine ist mit unterschiedlichen Rollen eng in die Umsetzung des Pilotversuchs eingebunden (Evaluation, Moderation, Beratung).
4a welches evaluationsdesign soll gem ss cfa die grundlage der evaluation darstellen theorie
4A Welches Evaluationsdesign soll gemäss CFA die Grundlage der Evaluation darstellen? (Theorie)
  • Kern des Evaluationsdesigns ist gemäss CFA die Festlegung des Massstabs zur Bewertung des Untersuchungsgegenstands.
  • Der CFA zieht mehrere Vergleichsebenen und Perspektiven mit ein: Soll-Ist-Vergleiche, Quervergleiche, Längsschnitt-Vergleiche.
  • Die Beurteilung erfolgt auf der Basis einer Gegenüberstellung und Synthese der Ergebnisse der verschiedenen Vergleiche (Triangulation).
4b welches evaluationsdesign bildet die grundlage der evaluation betreuungsgutscheine praxis
4B Welches Evaluationsdesign bildet die Grundlage der Evaluation Betreuungsgutscheine? (Praxis)
  • Im Rahmen von Soll-Ist-Vergleichen werden die Ziele, die mit dem Pilotprojekt Betreuungsgutscheine verfolgt wurden, den tatsächlichen Ergebnissen gegenübergestellt (Angebotsentwicklung, Finanzbedarf).
  • Bei der Evaluation Betreuungsgutscheine werden quasi sämtliche Fragen mittels Längsschnitt-Vergleichen analysiert.
  • Die Evaluation Betreuungsgutscheine nimmt Quervergleiche zwischen verschiedenen Typen von Betreuungsinstitutionen vor (z.B. Kitas mit bisheriger Leistungsvereinbarung versus Kitas ohne Leistungsvereinbarung; Kitas versus Tageseltern).
5a wie werden die informationen gem ss cfa erhoben und ausgewertet theorie
5A Wie werden die Informationen gemäss CFA erhoben und ausgewertet? (Theorie)
  • Der CFA kombiniert qualitative und quantitative Daten.
  • Die einbezogenen Datenquellen sind in der Regel vielfältig: öffentliche Statistiken, Befragungen, Selbstevaluationsdaten, Protokolle diverser Gremien usw.
  • Bilanzierende Aussagen zu Leistungen und Wirkungen sollten sich zwecks Glaubwürdigkeit vor allem auf unabhängig erhobene Daten stützen.
  • Eine saubere Dokumentation der Datengrundlage ist notwendig.
slide12
5B Wie werden in der Evaluation Betreuungsgutscheine die Informationen erhoben und ausgewertet? (Praxis)

Pilotprojekt Betreuungsgutscheine

Start

April 2009

2008/2009

2010

2011

2013

2012

Konzipierungsphase

Umsetzungsphase

Evaluation Pilotprojekt

Datengrundlage I: Monitoring der Systemdaten

Monitoring Systemdaten

April

Okt

April

Okt

April

Okt

Jan

Juli

Jan

Jan

Juli

Juli

Datengrundlage II: Standardisierte Befragungen zur Entwicklung der Betreuungslandschaft:

Befragung Eltern, Kitas, TEV

Jan

Mai

Mai

Datengrundlage III: Reflexionen

SelbstevaluationProjektleitung; Gruppendiskussion; ExpertengesprächeProtokolle verschiedener Gremien

Mai

April

April

Nov

April

Nov

6a was ist gem ss cfa vorgesehen um die verwendung der evaluation zu unterst tzen theorie
6A Was ist gemäss CFA vorgesehen, um die Verwendung der Evaluation zu unterstützen? (Theorie)
  • Der CFA legt grossen Wert darauf, dass
  • die Evaluation die für die Projektverantwortlichen relevanten Fragen beantwortet,
  • die Informationen für die potenziellen Nutzenden zum richtigen Zeitpunkt bereitstehen,
  • Projektverantwortliche und Evaluierende in einem stetigen Dialog stehen. Diese Nähe zum Projekt erlaubt schnelles Agieren und Reagieren.
slide14
6B Was ist bei der Evaluation Betreuungsgutscheine vorgesehen, um die Verwendung der Evaluation zu unterstützen? (Praxis)
  • Stetiger Dialog zwischen Projektverantwortlichen, Begleitgruppe und Evaluation ermöglicht eine fortlaufende Verwertung des Wissens, welches sich im Zuge der Evaluation akkumuliert.
  • Zwei schriftliche Syntheseberichte halten zentrale Ergebnisse fest:
  • 1. Bericht 2010: Information der Exekutive; Grundlage für die Diskussion mit einem interessierten Publikum (Präsentation an einer Tagung)
  • 2. Bericht 2011: Grundlage für die Ausgestaltung der Subventionierung familienexterner Kinderbetreuung nach Abschluss der Pilotphase.
chancen und herausforderungen des cfa
Chancen und Herausforderungen des CFA
  • Chancen:
  • =>wurden bereits verschiedentlich erwähnt: Nutzenorientierung, Flexibilität (Probleme, neue Fragestellungen können rechtzeitig erkannt und kritisch reflektiert werden), Vielfältigkeit der Daten (umfangreiche Kontextinformationen).
  • Herausforderungen:
  • Evaluierende nehmen mehrere Rollen ein. Diese sind nicht immer eindeutig. Mal betrachten sie das Projekt aus nächster Nähe, mal aus grösserer Distanz.
  • „Freunde“ kritisieren und von „Freunden“ Kritik entgegennehmen, fällt nicht leicht.
  • Die Unabhängigkeit der Evaluationsergebnisse wird aufgrund der Nähe zu den Projektverantwortlichen unter Umständen in Frage gestellt. Geringe politische Akzeptanz?