Evaluation von internationalen Austauschprogrammen – Erfahrungen aus der Praxis

1. Evaluation von internationalen Austauschprogrammen – Erfahrungen aus der Praxis Workshop „Evaluation in der auswärtigen Kulturpolitik“ 23. Juni 2006 am Centrum für Evaluation der Universität des Saarlandes

2. Was ist das ZEM? Zentrum für Evaluation und Methoden • 1999 an der Rheinischen Friedrich-Wilhelms-Universität Bonn gegründet Arbeitsauftrag des ZEM (Auftrags-)Forschung und Kompetenzvermittlung in Bezug auf • Qualitätssicherung & Evaluation in verschiedenen Anwendungsgebieten mit Schwerpunkt Bildung • Statistische Methoden • Umfragen

3. Ablauf des Vortrages • Erfahrungen des ZEM mit der Evaluation internationaler Austauschprogramme • Was ist so besonders an der Evaluation internationaler Austauschprogramme? • Interessen der verschiedenen Stakeholder • Organisation und Zielvorgaben • Was soll überhaupt geprüft werden? Die Zielexplikation • Verschiedene Programmziele der Stakeholder • Methodenempfehlungen • Wie kann das geprüft werden? Der Wirksamkeitsnachweis • Verschiedene Ansätze für den Wirksamkeitsnachweis

4. Erfahrungen des ZEM mit der Evaluation internationaler Austauschprogramme Onlinegestützte Befragungen in verschiedenen Organisationen • Goethe Institut • Besucherreisen (bis 2005 Paper-Pencil) • InWEnt gGmbH • Amerikaprogramme • Japan Programm/ Programm in der Region Asien/Pazifik • Heinz Nixdorf Programm • Vorbereitungsstätte für Entwicklungszusammenarbeit (V-EZ) • Deutscher Entwicklungsdienst (DED)

5. Besondere Situation bei der Evaluation von internationalen Austauschprogrammen - die Stakeholder Geldgeber Organisatoren Leistungs- empfänger Auswärtiges Amt Bundesministerium für wirtschaftl. Zusammen-arbeit und Entwicklung Goethe Institut InWEnt gGmbH DED Journalisten, Meinungsträger Schüler/Studenten Arbeitnehmer

6. Besondere Situation bei der Evaluation von internationalen Austauschprogrammen - Organisation & Zielvorgaben • Rechtfertigungszwang der Organisatoren gegenüber dem Geldgeber • Auftraggeber der Evaluation sind die Organisatoren, Adressat der Geldgeber • Kontakte zwischen Evaluator und Geldgeber nur selten möglich • Wenig Erfahrungen mit Evaluationen und ihren Aussagemöglichkeiten bei den Organisatoren • Schwierigkeiten bei der präzisen Formulierung der unterschiedlichen Ziele: • z.B. Abbildung von Berufsbiographien • z.B. Abbildung des Nutzens von Auslandsaufenthalten für spätere Arbeitgeber • Schwierigkeiten bei der Operationalisierung der Ziele • Frageformulierung • Filterführung • Konkurrenz durch Inhouse-Programme

7. Was soll überhaupt geprüft werden? Empfehlungen zur Zielexplikation • Berücksichtigung der Ziele aller Stakeholder • Wenn möglich: Interviews, Gruppendiskussionen mit allen Teilnehmern • Analyse verwandter Literaturbereiche (Auslandsentsendung) • Analyse von Programmunterlagen, Flyern • Analyse von Politikerklärungen des Geldgebers • Analyse von Zwischen- und Abschlussberichten der Teilnehmer • Konfrontation und Diskussion der verschiedenen Ziele mit dem Auftraggeber, Zielranking • Bei regelmäßigen Evaluationen: Aktualisierung der Ziele

8. Was soll überhaupt geprüft werden? Die Ziele der Geldgeber Geldgeber Organisatoren Leistungs- empfänger • Vermittlung eines positiven, modernen Deutschlandbildes • durch Besuche in Deutschland • durch Berichte und Auftreten im Ausland

9. Was soll überhaupt geprüft werden?Zusätzliche Ziele der Organisatoren Geldgeber Organisatoren Leistungs- empfänger • Vermittlung konkreter Unterstützung/ Informationen • Auslandserfahrung • Berufserfahrung • Sprachförderung

10. Was soll überhaupt geprüft werden? Zusätzliche Ziele der Leistungsempfänger Geldgeber Organisatoren Leistungs- empfänger • Persönlichkeits- entwicklung • Abenteuer

11. Der Wirksamkeitsnachweis - Ziele der Geldgeber und Operationalisierungsmöglichkeiten • Vermittlung eines positiven Deutschlandbildes • Beitrag des Aufenthaltes zur Veränderung des Deutschlandbildes bzw. des Gastlandbildes einschätzen • Kontakte zur einheimischen Bevölkerung während des Aufenthaltes und Aufrechterhaltung der Kontakte • Kontakte zu Angehörigen anderer Nationalitäten während des Aufenthaltes und danach

12. Ein Beispiel 2005/2006 Umstellung auf Onlinebefragung: Wenn revidiert Hat sich Ihr Deutschlandbild verbessert vs. verschlechtert? In welchen Aspekten hat sich Ihr Deutschlandbild verändert? Was gefällt Ihnen besser, was weniger gut?

13. Der Wirksamkeitsnachweis - Ziele der Organisatoren und Operationalisierungsmöglichkeiten • Berufserfahrung, Auslandserfahrung, Sprachliche Entwicklung • Berufsbiographien: wer ist der Arbeitgeber, Internationalität der Aufgabe sowie des Arbeitgebers, Führungsebene, Einfluss des Aufenthaltes auf weitere Beschäftigung • Weiterbildung in Folge des Aufenthaltes, Nutzung der Auslandserfahrung durch den Arbeitgeber • Einschätzung der eigenen Sprachkenntnisse, Berichte über Nutzung der Sprachkenntnisse im Beruf • Vermittlung konkreter Unterstützung/Informationen • Zufriedenheit mit Gesprächspartnern, Kontakten, Infomaterialien • Einschätzung des Nutzens der Informationen für die eigene Arbeit

14. Ein Beispiel Inwiefern hat Ihr Praktikum Ihre Position am Arbeitsmarkt verändert?

15. Ein Beispiel War die berufliche Position, die Sie nach dem Aufenthalt eingenommen haben, im Vergleich zu vorher eine......

16. Ein Beispiel

17. Der Wirksamkeitsnachweis - Ziele der Leistungs-empfänger und Operationalisierungsmöglichkeiten • Persönlichkeitsentwicklung, Abenteuer • Selbsteinschätzungen in Bezug auf die Verbesserung bei verschiedenen Eigenschaften, Kompetenzen, Soft Skills • Berichte über Erfahrungen, die nur im Ausland gemacht werden können, Selbstberichte über die besonderen Erfahrungen während des Aufenthaltes • Analyse offener Aussagen

18. Ein Beispiel Durch den Aufenthalt haben sich die folgenden Kenntnisse/Fähigkeiten positiv entwickelt:

19. Ein Beispiel • „Dies gibt mir großes Selbstbewusstsein. Dass ich alles Organisatorische etc geschafft und eine neue Kultur erfahren und erschlossen habe (in allen Bereichen des Lebens inkl. Arbeit, Alltag, Freundschaften).“ • „Ich versuche mich selbstständig zu machen und diesen Mut hatte ich vorher nicht.“ • „Durch internationale Kontakte habe ich eigene Werte und Charakterzüge neu überprüft.“ • „Internationale Entwicklungsprogramme (beruflich, privat) sind wohl eine der wichtigsten Investitionen in junge Menschen. Die Chancen sich weiterzuentwickeln (beruflich, menschlich) werden fast immer wahrgenommen. Für mich war diese Zeit die beste Zeit meines Lebens. Ohne dieses Programm wäre ich nicht dort, wo ich heute bin.“

20. Der Wirksamkeitsnachweis – eine neue Methode? Entwicklung von Eigenschaften und Kompetenzen im Verlauf von Auslandsaufenthalten • Quasilängsschnittliches Design: • Unterteilung des Auslandsaufenthaltes in drei Gruppen • Befragung aller Gruppen zu zwei Zeitpunkten • Gruppe 1: vor der Entsendung und zu Beginn des Aufenthaltes • Gruppe 2: während der Entsendung • Gruppe 3: am Ende der Entsendung und nach der Rückkehr ins Heimatland • Erfassung der Entwicklungen innerhalb der Gruppen • Identifikation der Einflüsse verschiedener Auswahl-, Vorbereitungs- und Betreuungsmöglichkeiten auf die Ausprägung von Kompetenzen und Eigenschaften

21. Herzlichen Dank für Ihre Aufmerksamkeit! Prof. Dr. Georg Rudinger Zentrum für Evaluation und Methoden Rheinische Friedrich-Wilhelms-Universität Bonn Bonner Talweg 57 53113 Bonn Tel: 0228 - 33 64 11 04 rudinger@uni-bonn.de www.zem.uni-bonn.de