ISI
Download
1 / 19

Methodische Grundlagen der Evaluation - PowerPoint PPT Presentation


  • 76 Views
  • Uploaded on

ISI. Fraunhofer. Institut. System- und. Innovationsforschung. Methodische Grundlagen der Evaluation. Vivien Lo [email protected] Seminar Angewandte Wirtschaftsgeographie SS 2005: Fragestellungen und methodische Ansätze der regionalen Innovationsforschung.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Methodische Grundlagen der Evaluation' - jarrod-allen


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

ISI

Fraunhofer

Institut

System- und

Innovationsforschung

Methodische Grundlagen der Evaluation

Vivien Lo

[email protected]

Seminar Angewandte Wirtschaftsgeographie SS 2005: Fragestellungen und methodische Ansätze der regionalen Innovationsforschung

Evaluation förderpolitischer Maßnahmen und Instrumente


Gliederung

3.

4.

2.

1.

5.

Entwicklung und Ausblick

Notwendigkeitund Definition

Die vier W-Fragen

Fallstricke

Praxisbeispiele


Weitergehende Priorisierung und kontinuierliche Bewertung der bisherigen Innovationspolitik

1. Notwendigkeit und Definition

Warum Evaluation in der Innovationspolitik?

  • Innovationspolitik muss

  • geeigneteZielsetzungen und Instrumente für die Anpassung und Modernisierung des Innovationssystems bereitstellen,

  • ihre Interventionen im Geflecht der vielfältigen Akteure abstimmen und

  • dies auf absehbare Zeit unter der Bedingung knapper werdender staatlicher Mittel tun (Kuhlmann/Holland 2005).


Definition

Evaluationsforschung = Teilbereich der empirischen Forschung mit dem Ziel der Bewertung von Maßnahmen oder Interventionen (Bortz/Döring 1995)

Evaluation: Bewertung von Programmen, Interventionen, Maßnahmen sowie Entwicklung formaler Regeln und Kriterien für die Erfolgs- und Wirkungskontrolle dieser Maßnahmen (fteval 2003)


Anwendungsbereiche in der Innovationspolitik

  • Forschung:z.B. Bewertung des Standes der Forschung in einem bestimmten Technologiegebiet

  • Projekte/Programme:z.B. Assessment der Kompetenzzentrenprogramme

  • Systeme:z.B. Evaluation der Netzwerkförderung in Sachsen

  • Strukturen/Institutionen:z.B. Evaluation der Betreuungsstrukturen zum 6. Rahmenprogramm


2 die vier w fragen
2. Die vier W-Fragen

  • Zu welchem Zeitpunkt im Programm soll evaluiert werden?

Wann?

Was?

  • Was steht auf der Agenda der Evaluation?

Wie?

  • Welche Methoden werden eingesetzt?

Warum?

  • Wozu dient die Evaluation? Was folgt aus der Evaluation?


a) Wann: Zu welchem Zeitpunkt soll evaluiert werden?

Ex-ante Evaluationen

Entwicklung, Design, Weiterentwicklung

Transfer der Evaluationsergebnisse

Implementation, Management

Interim/ begleitende Evaluationen

Ex-post Evaluationen

Eigene Darstellung nach fteval Standards, Wien 2003


b) Was: Was steht auf der Agenda der Evaluation?

Wurden die Ziele erreicht? Waren die Annahmen richtig?

Ist die Zielgruppe die richtige? Wurde die Zielgruppe erreicht?

Sind die Instrumente geeignet?

Welche direkten/indirekten, intendierten/ nichtintendierten Wirkungen gibt es?

Waren Implementierung und Verwaltung effizient?

Welche hemmenden und fördernden Faktoren gibt es? Passfähigkeit und Komplementarität mit anderen Instrumenten?

  • Zielausrichtung und Zielerreichung

  • Zielgruppendefinition und -erreichung

  • Instrumentenwahl und -ausgestaltung

  • Wirksamkeit/Effektivität

  • Effizienz

  • Weiterentwicklung/Handlungsempfehlungen


c) Wie: Welche Methoden werden eingesetzt?

Übliche Methoden:

  • Studium von Hintergrundmaterial (zur Entwicklung der Maßnahme, zur Zielgruppe)

  • Interviews (Experten, Fördernehmer)

  • Schriftliche Befragung

  • Auswertung vorhandener Daten und Informationen des Monitorings beim Projektträger (Antragseingang, Gutachten, Endberichte)

  • Fallstudien

  • Workshops

  • Internationaler Vergleich, Benchmarking

  • Bibliometrie, Patentstudien

  • Peer/Panel Review

  • Mikro/makroökonomische Modelle, ökonometrische Modellierung


Der richtige Methodenmix

Primärerhebung, Sekundärdaten, Daten beim Projektträger

Evaluierung durch Peers oder Evaluationsexperten

Qualitativ und/oder Quantitativ

Validität, Reliabilität

Kontrollgruppe


Typische Erfolgskriterien

  • Einstieg in neue Technologiefelder

  • Angemeldete und genehmigte Patente und Marken

  • Verstetigung von FuE-Aktivitäten

  • Umsätze durch Lizenzen und Patente

  • Gesicherter und zusätzlicher Umsatz

  • Gesicherte und zusätzliche Arbeitsplätze

  • Umsätze durch Produkte/Dienstleistungen

Technischer Erfolg

Ökonomischer Erfolg


Zentrales Erfolgskriterium: Additionalität

  • Additionalität I:

    Zusätzlich ausgelöste Aufwendungen/Beschäftigung in FuE und Umsätze durch FuE

  • Additionalität II:

    Schnelleres Durchführen von FuE-ProjektenHöheres Risiko von FuE-Projekten

  • Additionalität III:

    Verhaltensveränderung im Sinne von Verstetigung von FuE oder Lernen von Innovationskooperationen


Warum: Wozu dient die Evaluation?

Verwendung öffentlicher Mittel

Wie und mit welcher Wirksamkeit werden Mittel eingesetzt

Wie kann die Effektivität und Effizienz erhöht werden

Qualitätsmanagement und Qualitätsentwicklung

zwischen den konkurrierenden Interessen verschiedener Akteure in der Innovationspolitik

Legitimierung

Information

Steuerung

Kontrolle

Vermittlung


Warum: Was folgt aus der Evaluation?

  • Summative Evaluation:

    Maßnahme bereits abgeschlossen, Zusammenfassung der Wirksamkeit

  • Formative Evaluation:

    Abwicklung der Maßnahme und deren Wirkungen werden fortlaufend kontrolliert, Einsatz bei Entwicklung und Implementierung neuer Maßnahmen, erkundend angelegt


3. Fallstricke

  • FuE und Innovation sind keine unidirektionalen, linearen Prozesse, sondern rückgekoppelte, soziale Prozesse

  • Geförderte Projekte häufig eingebettet in "Projektfamilie", keine einzelne Zurechenbarkeit

  • Zielerreichung zum Teil nur indirekt messbar (z.B. FuE-Kooperationen), Indikatoren mit üblichen Problemen behaftet

  • Ziele auf politischer, Unternehmens- und Projektebene können sich unterscheiden

Problem der Zurechenbarkeit

öffentlicher Nutzen (Wissens-diffusion)

Privater technischer Erfolg

öffentliche Förderung

Privater ökonomischer Erfolg


Die "Bring-Lücke" (Delivery Gap)

Quelle: nach Sturn/Zinnöcker 2003


Die "Kunden-Lücke" (Customer Gap)

Quelle: nach Sturn/Zinnöcker 2003


4. Zukünftige Bedeutung von Evaluationen

  • Forschungs- und Innovationspolitik muss zunehmend nachweisen, dass sich Investitionen lohnen

  • Nachweis und Hinwirken, dass Marktversagen nicht durch Staatsversagen ersetzt wird

  • European Research Area ERA/ Lissabon Ziel: 2010 den wettbewerbsfähigsten und dynamischsten wissensbasierten Wirtschaftsraum zu erreichen

  • Zunehmende Verankerung: Standard bei EU-Projekten, Abteilung Evaluation im BMWA

  • Professionalisierung durch Festlegung von Standards in nationalen Fachverbänden (z.B. DeGEval, fteval)


5. Praktische Beispiele

  • Evaluierung und Weiterentwicklung der Netzwerkstrategie des Freistaates Sachsen

  • Evaluierung der österreichischen Betreuungsstrukturen für das 6. EU-Rahmen­programm für Forschung, technologische Entwicklung und Demonstration

  • Assessment "Zukunft der Kompetenzzentrenprogramme (K plus und K ind/net) und Zukunft der Kompetenzzentren"

System

Programm

Institutionen

System

Programm

System

Institutionen


ad