ISI
This presentation is the property of its rightful owner.
Sponsored Links
1 / 19

Methodische Grundlagen der Evaluation PowerPoint PPT Presentation


  • 49 Views
  • Uploaded on
  • Presentation posted in: General

ISI. Fraunhofer. Institut. System- und. Innovationsforschung. Methodische Grundlagen der Evaluation. Vivien Lo [email protected] Seminar Angewandte Wirtschaftsgeographie SS 2005: Fragestellungen und methodische Ansätze der regionalen Innovationsforschung.

Download Presentation

Methodische Grundlagen der Evaluation

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Methodische grundlagen der evaluation

ISI

Fraunhofer

Institut

System- und

Innovationsforschung

Methodische Grundlagen der Evaluation

Vivien Lo

[email protected]

Seminar Angewandte Wirtschaftsgeographie SS 2005: Fragestellungen und methodische Ansätze der regionalen Innovationsforschung

Evaluation förderpolitischer Maßnahmen und Instrumente


Methodische grundlagen der evaluation

Gliederung

3.

4.

2.

1.

5.

Entwicklung und Ausblick

Notwendigkeitund Definition

Die vier W-Fragen

Fallstricke

Praxisbeispiele


Methodische grundlagen der evaluation

Weitergehende Priorisierung und kontinuierliche Bewertung der bisherigen Innovationspolitik

1. Notwendigkeit und Definition

Warum Evaluation in der Innovationspolitik?

  • Innovationspolitik muss

  • geeigneteZielsetzungen und Instrumente für die Anpassung und Modernisierung des Innovationssystems bereitstellen,

  • ihre Interventionen im Geflecht der vielfältigen Akteure abstimmen und

  • dies auf absehbare Zeit unter der Bedingung knapper werdender staatlicher Mittel tun (Kuhlmann/Holland 2005).


Methodische grundlagen der evaluation

Definition

Evaluationsforschung = Teilbereich der empirischen Forschung mit dem Ziel der Bewertung von Maßnahmen oder Interventionen (Bortz/Döring 1995)

Evaluation: Bewertung von Programmen, Interventionen, Maßnahmen sowie Entwicklung formaler Regeln und Kriterien für die Erfolgs- und Wirkungskontrolle dieser Maßnahmen (fteval 2003)


Methodische grundlagen der evaluation

Anwendungsbereiche in der Innovationspolitik

  • Forschung:z.B. Bewertung des Standes der Forschung in einem bestimmten Technologiegebiet

  • Projekte/Programme:z.B. Assessment der Kompetenzzentrenprogramme

  • Systeme:z.B. Evaluation der Netzwerkförderung in Sachsen

  • Strukturen/Institutionen:z.B. Evaluation der Betreuungsstrukturen zum 6. Rahmenprogramm


2 die vier w fragen

2. Die vier W-Fragen

  • Zu welchem Zeitpunkt im Programm soll evaluiert werden?

Wann?

Was?

  • Was steht auf der Agenda der Evaluation?

Wie?

  • Welche Methoden werden eingesetzt?

Warum?

  • Wozu dient die Evaluation? Was folgt aus der Evaluation?


Methodische grundlagen der evaluation

a) Wann: Zu welchem Zeitpunkt soll evaluiert werden?

Ex-ante Evaluationen

Entwicklung, Design, Weiterentwicklung

Transfer der Evaluationsergebnisse

Implementation, Management

Interim/ begleitende Evaluationen

Ex-post Evaluationen

Eigene Darstellung nach fteval Standards, Wien 2003


Methodische grundlagen der evaluation

b) Was: Was steht auf der Agenda der Evaluation?

Wurden die Ziele erreicht? Waren die Annahmen richtig?

Ist die Zielgruppe die richtige? Wurde die Zielgruppe erreicht?

Sind die Instrumente geeignet?

Welche direkten/indirekten, intendierten/ nichtintendierten Wirkungen gibt es?

Waren Implementierung und Verwaltung effizient?

Welche hemmenden und fördernden Faktoren gibt es? Passfähigkeit und Komplementarität mit anderen Instrumenten?

  • Zielausrichtung und Zielerreichung

  • Zielgruppendefinition und -erreichung

  • Instrumentenwahl und -ausgestaltung

  • Wirksamkeit/Effektivität

  • Effizienz

  • Weiterentwicklung/Handlungsempfehlungen


Methodische grundlagen der evaluation

c) Wie: Welche Methoden werden eingesetzt?

Übliche Methoden:

  • Studium von Hintergrundmaterial (zur Entwicklung der Maßnahme, zur Zielgruppe)

  • Interviews (Experten, Fördernehmer)

  • Schriftliche Befragung

  • Auswertung vorhandener Daten und Informationen des Monitorings beim Projektträger (Antragseingang, Gutachten, Endberichte)

  • Fallstudien

  • Workshops

  • Internationaler Vergleich, Benchmarking

  • Bibliometrie, Patentstudien

  • Peer/Panel Review

  • Mikro/makroökonomische Modelle, ökonometrische Modellierung


Methodische grundlagen der evaluation

Der richtige Methodenmix

Primärerhebung, Sekundärdaten, Daten beim Projektträger

Evaluierung durch Peers oder Evaluationsexperten

Qualitativ und/oder Quantitativ

Validität, Reliabilität

Kontrollgruppe


Methodische grundlagen der evaluation

Typische Erfolgskriterien

  • Einstieg in neue Technologiefelder

  • Angemeldete und genehmigte Patente und Marken

  • Verstetigung von FuE-Aktivitäten

  • Umsätze durch Lizenzen und Patente

  • Gesicherter und zusätzlicher Umsatz

  • Gesicherte und zusätzliche Arbeitsplätze

  • Umsätze durch Produkte/Dienstleistungen

Technischer Erfolg

Ökonomischer Erfolg


Methodische grundlagen der evaluation

Zentrales Erfolgskriterium: Additionalität

  • Additionalität I:

    Zusätzlich ausgelöste Aufwendungen/Beschäftigung in FuE und Umsätze durch FuE

  • Additionalität II:

    Schnelleres Durchführen von FuE-ProjektenHöheres Risiko von FuE-Projekten

  • Additionalität III:

    Verhaltensveränderung im Sinne von Verstetigung von FuE oder Lernen von Innovationskooperationen


Methodische grundlagen der evaluation

Warum: Wozu dient die Evaluation?

Verwendung öffentlicher Mittel

Wie und mit welcher Wirksamkeit werden Mittel eingesetzt

Wie kann die Effektivität und Effizienz erhöht werden

Qualitätsmanagement und Qualitätsentwicklung

zwischen den konkurrierenden Interessen verschiedener Akteure in der Innovationspolitik

Legitimierung

Information

Steuerung

Kontrolle

Vermittlung


Methodische grundlagen der evaluation

Warum: Was folgt aus der Evaluation?

  • Summative Evaluation:

    Maßnahme bereits abgeschlossen, Zusammenfassung der Wirksamkeit

  • Formative Evaluation:

    Abwicklung der Maßnahme und deren Wirkungen werden fortlaufend kontrolliert, Einsatz bei Entwicklung und Implementierung neuer Maßnahmen, erkundend angelegt


Methodische grundlagen der evaluation

3. Fallstricke

  • FuE und Innovation sind keine unidirektionalen, linearen Prozesse, sondern rückgekoppelte, soziale Prozesse

  • Geförderte Projekte häufig eingebettet in "Projektfamilie", keine einzelne Zurechenbarkeit

  • Zielerreichung zum Teil nur indirekt messbar (z.B. FuE-Kooperationen), Indikatoren mit üblichen Problemen behaftet

  • Ziele auf politischer, Unternehmens- und Projektebene können sich unterscheiden

Problem der Zurechenbarkeit

öffentlicher Nutzen (Wissens-diffusion)

Privater technischer Erfolg

öffentliche Förderung

Privater ökonomischer Erfolg


Methodische grundlagen der evaluation

Die "Bring-Lücke" (Delivery Gap)

Quelle: nach Sturn/Zinnöcker 2003


Methodische grundlagen der evaluation

Die "Kunden-Lücke" (Customer Gap)

Quelle: nach Sturn/Zinnöcker 2003


Methodische grundlagen der evaluation

4. Zukünftige Bedeutung von Evaluationen

  • Forschungs- und Innovationspolitik muss zunehmend nachweisen, dass sich Investitionen lohnen

  • Nachweis und Hinwirken, dass Marktversagen nicht durch Staatsversagen ersetzt wird

  • European Research Area ERA/ Lissabon Ziel: 2010 den wettbewerbsfähigsten und dynamischsten wissensbasierten Wirtschaftsraum zu erreichen

  • Zunehmende Verankerung: Standard bei EU-Projekten, Abteilung Evaluation im BMWA

  • Professionalisierung durch Festlegung von Standards in nationalen Fachverbänden (z.B. DeGEval, fteval)


Methodische grundlagen der evaluation

5. Praktische Beispiele

  • Evaluierung und Weiterentwicklung der Netzwerkstrategie des Freistaates Sachsen

  • Evaluierung der österreichischen Betreuungsstrukturen für das 6. EU-Rahmen­programm für Forschung, technologische Entwicklung und Demonstration

  • Assessment "Zukunft der Kompetenzzentrenprogramme (K plus und K ind/net) und Zukunft der Kompetenzzentren"

System

Programm

Institutionen

System

Programm

System

Institutionen


  • Login