| Projektname | Beginn | Ende | Ansprechpartner | Auftraggeber |
|---|
Rahmenvertrag zur Weiterentwicklung und Implementierung von Ansätzen der systematischen Wirkungserfassung mittels Monitoring und Evaluationen für DAAD-ProgrammeLeiter: Dr. Vera Hennefeld Mitarbeiter: Fabian Otto, M.A. Sandra Bäthge, Laszlo Szentmarjay Beschreibung Der DAAD versteht sich als moderne Wissenschaftsorganisation, die durch kontinuierliches Lernen und die Bereitschaft zur Veränderung ihrer Arbeit bestrebt ist, deren Wirksamkeit kontinuierlich zu verbessern. Dieser Ansatz ist in dem 2019 verabschiedeten Integrierten Monitoring- und Evaluationskonzept des DAAD ausformuliert, in dem institutionelles Lernen, Qualitätssicherung, Wirkungsorientierung, Transparenz in Prozessen und Legitimation als wichtige Dimensionen benannt werden, auf die die verschiedenen Monitoring- und Evaluationsaktivitäten ausgerichtet sind. Aus übergeordneter Perspektive soll so auch die strategische Ausrichtung des DAAD und seiner Programme evidenzbasiert unterstützt werden.
Der Rahmenvertrag mit der CEval GmbH zielt darauf ab, den steigenden Ansprüchen an Wirkungsorientierung und -kontrolle in den verschiedenen Förderbereichen des DAAD noch besser gerecht zu werden, indem die Umsetzung der Wirkungsorientierung und -kontrolle für bestehende und neue Programme in den AA- und BMBF-Förderbereichen unterstützt und die Wirkungsorientierung neu konzipierter BMZ-Programme begleitet werden. Hierfür werden Leistungen in folgenden Aufgabenbereichen erbracht:
Entwicklung von Wirkungsgefügen und Indikatorenkatalogen
(Weiter-)Entwicklung programmspezifischer Monitoring-Instrumente und Überarbeitung der programmsteuernden Dokumente entsprechend der Anforderungen des Monitoring-Konzepts
Datenaufbereitung und -analyse
Capacity Development: interne und externe Workshops zur Umsetzung des Wirkungsorientierten Monitorings (WoM)
Methodische und/oder vor-Ort-Begleitung im Rahmen von Monitoring-Besuchen bei Projektnehmern
Beratung zu weiterführenden Ansätzen und Methoden im Bereich Monitoring und Evaluation
Zusätzliche Beratungs- und Schulungsleistungen | 5/2020 | 5/2026 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher KonzepteLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Selina Röhrig, Dr. Wolfgang Meyer Beschreibung Im Forschungsprojekt „Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte“ soll erstmals untersucht werden, ob in bisherigen Forschungsarbeiten identifizierte und zu einem Schlüsselgrößenmodell zusammengeführte Erfolgsfaktoren internationaler Berufsbildungskooperationen auch für Kooperationen außerhalb der Entwicklungszusammenarbeit, im privatwirtschaftlichen Bereich und in China gelten. Aus der quantitativen und qualitativen Untersuchung staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Berufsbildungskooperationen werden allgemeine Handlungsempfehlungen generiert und einzelne Projekte oder Maßnahmen als Best-Practice-Beispiele herausgestellt. Tagungen und Publikationen befördern eine umfassende Dissemination, Diskussion und Nutzung der gewonnenen Erkenntnisse in der internationalen Berufsbildungsforschung und -praxis. | 4/2019 | 3/2022 | Selina Röhrig | Bundesministerium für Bildung und Forschung (BMBF) |
Wirkungsanalyse des Projektes "Kita im Aufbruch: Prozessbegleitung Richtung Nachhaltigkeit"Leiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Janis Wicke Beschreibung Der Landesbund Vogelschutz in Bayern e.V. (LBV) führt zwischen November 2020 bis März 2022 das Umweltbildungsprojekt "Kita im Aufbruch: Prozessbegleitung Richtung Nachhaltigkeit" durch. Ziel des Projektes ist es, durch eine eineinhalbjährige Prozessbegleitung von ausgewählten bayerischen Kindertageseinrichtungen (Kitas) zur strukturellen Verankerung von Bildung für nachhaltige Entwicklung (BNE) in der frühkindlichen Kinderbetreuung beizutragen. Die CEval GmbH wird das Projekt durch eine Wirkungsanalyse begleiten. Durch die Vorher-Nachher-Befragung von Kita-Mitarbeiter*innen, Eltern und den Trägern der Kitas wird untersucht, welche Wirkung die Prozessbegleitung auf die Kompetenzentwicklung der pädagogischen Fachkräfte und die Qualität der Bildungsangebote und pädagogischen Prozesse im Sinne der BNE hat. Darüber hinaus wird auch analysiert, inwiefern die Prozessbegleitung zu einer ganzheitlichen Transformation der Lern- und Lehrumgebung in Richtung einer strukturellen Verankerung der BNE in den Kitas beiträgt. Neben pädagogischen Konzepten, schließt dies auch die Bereiche der nachhaltigen Beschaffung und Verpflegung im Sinne eines nachhaltigen Speiseplans ein. Um beobachtete Effekte und Wirkungen eindeutig der Prozessbegleitung zuordnen zu können, wird die Wirkungsanalyse auf einem quasi-experimentellen Design aufgebaut, das durch die Befragung von Vergleichsgruppen (Kitas ohne Teilnahme an einer Prozessbegleitung) realisiert wird. Im Prozess der Datenerhebung werden qualitative und quantitative Erhebungsmethoden miteinander kombiniert. | 9/2020 | 2/2022 | Dr. Vera Hennefeld | Landesbund Vogelschutz Bayern e.V. (LBV) |
Nachhaltige Wirtschaftsentwicklung MyanmarLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Stefan Silvestrini Beschreibung Gemeinsam mit dem Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) begleitet das CEval drei Vorhaben zur Nachhaltigen Wirtschaftsentwicklung in Myanmar zur Schaffung der Voraussetzungen für deren Wirkungserfassung und Bewertung. Die Beratung trägt zur Verbesserung der Qualität, Relevanz und Vollständigkeit der Projektkonzepte und Programmbildung, einschließlich eines kohärenten Ziel- und Wirkungssystems bei. Damit werden die methodischen Voraussetzungen für einen späteren Wirkungsnachweis sichergestellt. Gegenstand des Beratungsvorhabens sind drei Projekte in den Bereichen Berufliche Bildung, Privatwirtschaftsentwicklung und Finanzsektorreform, aus denen in der Zukunft ein kohärentes Programm im Bereich der Nachhaltigen Wirtschaftsentwicklung gebildet werden soll.
Aufgabe des CEval ist es dementsprechend, gemeinsam mit dem DEval:
- einen Beitrag zur Qualität, Relevanz und Vervollständigung der Projektkonzeptionen und zum Aufbau eines kohärenten Ziel- und Wirkungssystems zu leisten
- Voraussetzungen für die Wirkungserfassung und Bewertung der Vorhaben zu schaffen
- einen Beitrag zur Programmbildung zu leisten sowie
- eine Wirkungsevaluierung umzusetzen.
Hierfür wurde ein mehrstufiges Analyse- und Beratungskonzept ausgearbeitet, das im Kern aus
- der Entwicklung eines umfassenden Wirkungsmodells,
- der Erarbeitung eines entsprechend vollständigen Indikatorentableaus,
- der Umsetzung einer Baseline-Studie sowie
- der Ausarbeitung eines wirkungsorientierten Monitoring-Systems besteht.
| 6/2020 | 12/2021 | Dr. Stefan Silvestrini | Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) |
Entwicklung eines M&E-Konzepts, M&E-Unterstützung sowie Entwicklung von Lern- und Austauschformaten für die Initiative "Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika"Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Wolfgang Meyer Beschreibung Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), die Deutsche Stiftung Weltbevölkerung, die Siemens Stiftung und die Hanns R. Neumann Stiftung wollen gemeinsam die Perspektiven von Jugendlichen in ländlichen Gebieten Ostafrikas verbessern. Im Rahmen der Initiative "Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika" befähigen die Partner hierfür Jugendliche, Entwicklungsprozesse aktiv zu gestalten und sich in relevanten politischen Prozessen Gehör zu verschaffen. Außerdem sollen die Lebensgrundlagen der Jugendlichen durch die Erhöhung ihres Einkommens und die Verbesserung ihrer Gesundheitsversorgung verbessert werden. Damit soll auch ein Beitrag zur Bekämpfung der Ursachen von Migration geleistet werden. Die Initiative wird von drei lokalen Implementierungspartnern in Uganda umgesetzt, nämlich Action for Health Uganda, Hanns R. Neumann Stiftung Africa Ltd. und WHAVE Solutions.
Der Auftrag umfasst drei Aufgaben: die Entwicklung eines M&E-Konzepts für das Programm, die Unterstützung des Monitorings und der Evaluation des Programms durch die Durchführung von drei Untersuchungen (Baseline, Midterm und Final) und die Unterstützung des Lernens und Austauschs in der Pilotphase des Programms. Zur Erreichung dieser Ziele wird ein partizipativer Ansatz verfolgt, wobei auf eine starke Einbeziehung der verschiedenen Stakeholdergruppen, von der Planungsphase über die Datenerhebung bis hin zur Interpretation der Ergebnisse, geachtet wird. Für eine ganzheitliche Bewertung der Wirksamkeit und Nachhaltigkeit der Initiative sowie zur Validierung ihrer Interventionslogik verfolgt die Evaluation einen Multimethoden-Ansatz, basierend auf einem quantitativen quasi-experimentellen und einem qualitativen Fallstudiendesign. Während das quasi-experimentelle Design auf der Erhebung von Ziel- und Vergleichsgruppendaten von insgesamt ca. 1.000 Personen beruht, umfasst das Fallstudienkonzept Interviews und Fokusgruppendiskussionen mit Schlüsselpersonen aus den Gruppen der Implementierungspartner, Zielgruppen, örtlichen Behörden und Branchenexperten. | 11/2018 | 12/2021 | Teresa Böttcher | Deutsche Stiftung Weltbevölkerung (DSW) |
Evaluation des Projekts Media in Libya: Stability through reconciliationLeiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge Beschreibung Evaluationsgegenstand ist das Projekt „Media in Libya: Stability through reconciliation“ (MLSR) der DW Akademie. MLSR ist ein Nachfolgeprojekt von „Media in Libya: Stability through Structure“. Das übergeordnete Ziel von MLSR lautet:“Enabling a process of public discourse and eventually reconciliation across a fragmented Libyan society – prerequisites for development of democratic reform and constitutional process in the country.” by “promoting [the] right to access to information to the people of Libya and [the] freedom of expression in Libya”. Zum Erreichen dieser Zielsetzung setzt die DW Akademie auf vier Aktivitäten-Cluster: (1) Unterstützung (öffentlicher) Institutionen in Libyen im Bereich „media governance“, (2) Entwicklung eines Mediennetzwerks in Libyen, (3) Training freier Journalisten aus allen Regionen Libyens mit einem besonderen Fokus auf ethnische Minderheiten und Geschlechterfragen, (4) Bereitstellung von Fördermöglichkeiten für Libysche Medienprojekte.
Die Evaluation von MLSR ist als Wirkungsevaluation angelegt. Es ist daher erforderlich, Daten zum Zeitpunkt des Maßnahmenbeginns (Baseline) zu erheben, eine Zwischenevaluation erfolgt in der ersten Jahreshälfte 2019. Durch Vergleich der Befunde aus Baselinestudie und Zwischenevaluation können bereits erste Effekte von MLSR identifiziert und bewertet werden. Darüber hinaus können erste Empfehlungen zur Projektoptimierung (z. B. Identifikation [weniger] erfolgreicher Projektstrategien, alternative Vorgehensweisen) gegeben werden. Die dritte Evaluationsphase (Schlussevaluation) startet zum Projektende. Hauptziel der Schlussevaluation ist die Bewertung der Zielerreichung von MLSR. Durch die drei Erhebungszeitpunkte kann eine längsschnittliche Analyse der Mechanismen, Prozesse und Effekte von MLSR realisiert werden.
Methodisch wird vor dem Hintergrund der sehr volatilen und schwierigen Rahmenbedingungen in Libyen ein robuster Mixed-Method-Ansatz verfolgt: Sekundäranalyse vorhandener Dokumente/Daten, Inhaltsanalyse kurzer schriftlicher und tiefgehender mündlicher Befragungen sowie statistische Analyse quantitativer Daten aus einer standardisierten Fragebogenerhebung. | 1/2018 | 8/2021 | Dr. Vera Hennefeld | Deutsche Welle-Akademie |
Erstellung einer AMPA-Übersicht für 20 multilaterale Organisationen sowie zweier GesamtübersichtenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Annual Multilateral Performance Assessment (AMPA) ist ein Instrument der Direktion für Entwicklung und Zusammenarbeit (DEZA) zur jährlichen Leistungsbeurteilung ihrer prioritären multilateralen Organisationen. Ziel sind möglichst neutrale und unabhängige Bewertungen dieser Organisationen, mit geringem Aufwand von Ressourcen auf Basis von existierenden und zugänglichen Informationen. AMPA basiert auf 1) MOPAN-Berichten (externe Quelle), 2) den CCM Annual Reports (DEZA-Beurteilung) sowie 3) Self-Assessments der multilateralen Organisationen (z.B. Scorecards).
Im Rahmen eines beratenden Auswertungsauftrags hat das CEval gemeinsam mit dem Auftraggeber konkrete Maßnahmen zur Optimierung des Performance Assessments erarbeitet. | 10/2018 | 8/2021 | Selina Röhrig | Direktion für Entwicklung und Zusammenarbeit (DEZA) |
Externe Evaluation zur klimafreundlichen Gemeinschaftsverpflegung im Rahmen des Projektes MehrWertKonsum der Verbraucherzentrale NRW e.V.Leiter: Dr. Hansjörg Gaus Mitarbeiter: Fabian Otto Beschreibung Das Projekt „MehrWertKonsum – Mehr Wertschätzung von Lebensmitteln und begrenzten Ressourcen“ der Verbraucherzentrale Nordrhein-Westfalen (VZ NRW) möchte einen verantwortungsvollen, zukunftsfähigen und klimaschonenden Konsum befördern und CO2-Emissionen reduzieren. Das übergeordnete Ziel des Projekts ist es, einen mittelbaren Beitrag zur Einsparung von Treibhausgasemissionen zu leisten. Der Weg zur Reduzierung von Treibhausgasemissionen führt in der Gemeinschaftsverpflegung unter anderem über weniger Speisereste und mehr vegetarische Gerichte mit saisonalen Lebensmitteln aus der Region und aus biologischem Anbau. Für Kitas, Schulen, Jugendherbergen und ihre Verpflegungsanbieter werden Informationen und Bildungsmaterialien verbreitet, Abfallmessungen und Analysen der Teller- und Ausgabereste durchgeführt und Verbesserungsvorschläge erarbeitet. Des Weiteren werden Menü- und Speisepläne geprüft und hinsichtlich der Attraktivität sowie des Klima- und Umweltschutzes optimiert. Schulen können zusätzlich für ihre Schüler(innen) partizipative Bildungsangebote und Aktionen erhalten. In den Jugendherbergen wird ein besonderes Augenmerk auf die Gästekommunikation gelegt, um die Akzeptanz der Maßnahmen zu erhöhen und ebenfalls zur Abfallvermeidung beizutragen. Das Projekt wird aus Mitteln des „Operationellen Programms Nordrhein-Westfalens für die Förderung von Investitionen in Wachstum und Beschäftigung aus dem Europäischen Fonds für regionale Entwicklung“ (EFRE OP NRW) und des Ministeriums für Umwelt, Landwirtschaft, Natur- und Verbraucherschutz Nordrhein-Westfalen (Umweltministerium NRW) finanziert. Im Rahmen der Förderung des EFRE OP NRW muss bei ausgewählten Maßnahmen die Höhe der Treibhausgasreduzierung ermittelt werden (t CO2-Aquivalent/Jahr). Dies betrifft die zu evaluierenden Maßnahmen. Darüber hinaus sollen folgende Ziele des Handlungsfelds „Klimafreundliche Gemeinschaftsverpflegung“ evaluiert werden:
• Reduzierung von Lebensmittel- und Speiseabfällen
• Etablierung von klimafreundlichen und gesunden Verpflegungsangeboten
• Entwicklung eines erhöhten Bewusstseins und erhöhter Wertschätzung für Lebensmittel, klimafreundliche Ernährung und Lebensmittelabfälle
Im Rahmen der externen Evaluation des Projekts MehrWertKonsum soll die Wirkung der Maßnahmen sowohl auf Outcome-Ebene (insbesondere verändertes Verhalten bei den Zielgruppen) als auch auf Impact-Ebene (Einsparung von Treibhausgasen) analysiert werden. Das Evaluationsteam aus CEval GmbH, schmidt Evaluation und EBP wendet dazu einen komplexen Multimetmethodenansatz an, bei dem die Ergebnisse aus teilnehmender Beobachtung, telefonischen Leitfadeninterviews und schriftlichen (Online-)Befragungen in einer Weise mit den Inhalten des internen Monitoring des Projekts MehrWertKonsum verknüpft werden, dass im Endeffekt die Berechnung der Einsparung von Treibhausgasen ermöglicht wird. | 5/2019 | 7/2021 | Dr. Hansjörg Gaus | Verbraucherzentrale Nordrhein-Westfalen e.V. (VZ NRW) |
Zentrale Projektevaluation des Projektes Competitive African Cashew Value Chains for Pro-Poor GrowthLeiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Janis Wicke Beschreibung Die Cashew-Wertschöpfungskette bietet den afrikanischen Erzeugerländern interessante Möglichkeiten, Arbeitsplätze zu schaffen, betriebliche und volkswirtschaftliche Einkommen zu steigern und die Ernährungssicherung zu verbessern. Bisher werden die Potentiale jedoch kaum genutzt. So liegen die Erträge der afrikanischen Produzenten/innen mit 300 bis 550 Kilogramm Rohnüsse pro Hektar weit hinter den Erträgen in Indien und Vietnam und die Verarbeitungskapazitäten und die Arbeitsproduktivität der Betriebe sind noch zu gering, wodurch nur ein geringer Teil der Rohnüsse in den afrikanischen Herstellerländern verarbeitet wird. Das Projekt “Competitive African Cashew Value Chains for Pro-Poor Growth” der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH unterstützt den Ausbau und die Intensivierung der Cashew Wertschöpfungskette in den sechs Ländern Ländern Benin, Burkina Faso, Côte d’Ivoire, Ghana und Mosambik und Sierra Leone. Das Projekt setzt dabei auf vier Handlungsebenen an: (i) die bessere Versorgung mit leistungsfähigem Pflanzgut durch Forschung und Vermehrung und Fortbildung der Produzenten/innen durch Training und Beratung, (ii) die Beratung von Verarbeitern von Cashew-Rohnüssen und Nebenprodukten zur Verbesserung der Prozesseffizienz, (iii) die Intensivierung von Geschäftsverbindungen und Austausch zwischen allen Beteiligten der Wertschöpfungskette und (iv) die Förderung der nationalen und regionalen Rahmenbedingungen durch Beratung der Fachministerien und Intensivierung des regionalen Austauschs zwischen allen Akteuren.
Die CEval GmbH wurde von der GIZ mit der zentralen Projektevaluation beauftragt. Die Evaluation wird an den OECD DAC Kriterien ausgerichtet und somit die Relevanz, Effektivität, Effizienz, Wirkung, Nachhaltigkeit und Kohärenz der Projektumsetzung prüfen. Methodisch wird die Evaluation auf den verfügbaren quantitativen Sekundärdaten des Projektes aufbauen und diese durch die Erhebung von Leitfadeninterviews und Fokusgruppendiskussionen mit Projektverantwortliche, Stakeholdern und der Zielgruppevertreter*innen erweitern. Aufgrund der derzeitigen Corona-Pandemie wird das Vorhaben als Remote-Evaluation umgesetzt. Die Evaluatoren der CEval GmbH werden mit lokalen Consultants in den Ländern Afrikas zusammenarbeiten, welche die Datenerhebung im Feld durchführen. | 8/2020 | 6/2021 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit GmbH (GIZ) |
IKI-EinzelprojektevaluierungLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth, M.A. Janis Wicke Beschreibung Die internationale Klimaschutzinitiative (IKI) fördert seit 2008 auf Projektbasis Vorhaben zu (i) Klimaschutz, (ii) Anpassung an den Klimawandel, (iii) Erhalt der Kohlenstoffsenken und (iv) Schutz der Biodiversität in Entwicklungs- und Schwellenländern. Insgesamt beinhaltet die IKI inzwischen knapp 600 Einzelprojekte und ein Fördervolumen von 2,8 Milliarden Euro. Ihr Schwerpunkt liegt dabei auf dem Klimaschutz, welcher knapp die Hälfte der Projekte umfasst. Eine erste Evaluierung, die im Zeitraum von 2010 bis 2013 durchgeführt wurde, umfasste 115 Projekte. Hier wurde eine Vollerhebung der bis 2011 abgeschlossenen oder fast abgeschlossenen Projekte durchgeführt. Dieses aktuelle Vorhaben zielt auf die Durchführung von weiteren Evaluierungen derjenigen Projekte, die bis Ende 2019 abgeschlossen werden. Die einzelnen Projektevaluierungen bestehen aus detaillierten Analysen nach den OECD DAC-Kriterien, sowie weiteren, programmspezifischen Kriterien. Dabei liegt von der Wirkungskette her der Fokus auf einer Analyse der Inputs, Outputs und Outcomes. Wirkungen auf höheren Ebenen werden nur aufgrund der zum Zeitpunkt der Evaluierungen vorliegenden belastbaren Informationen analysiert. | 4/2019 | 4/2021 | Dr. Hansjörg Gaus | Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit (BMU) |
Querschnittsauswertung: Evidenzen aus Zentralen Projektevaluierungen im Bereich der ÜbergangshilfeLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth, M.Sc. Anne Meysing Beschreibung Als Brücke zwischen humanitärer Hilfe und längerfristiger Entwicklungszusammenarbeit kommt der Überganghilfe, insbesondere vor dem Hintergrund weltweit zunehmender Konflikte, verstärkt Bedeutung zu.
Die Stabstelle Evaluierung der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH (GIZ) hat infolgedessen die CEval GmbH beauftragt eine Evaluationssynthese von Vorhaben der Überganghilfe, welche im Zeitraum von Januar 2013 bis April 2021 durchgeführt wurden bzw. werden, vorzunehmen.
Gegenstand dieser Evaluierungssynthese sind neun zentrale Projektevaluierungen (ZPE) von Übergangshilfe-Projekten und eine ZPE eines regionalen EU-kofinanzierten Projekts mit ähnlichen thematischen Prioritäten, die in vier Ländern durchgeführt wurden. Die Evaluierung umfasst somit diverse Länder und Regionen: Südsudan, Somalia, Haiti, Ukraine, Irak, Türkei, Libanon und Jordanien. Zusätzlich zu den ZPEs wird die Synthese auf Basis der von Interviews mit Projektverantwortlichen und, wenn möglich, mit den entsprechenden Evaluator*innen erstellt. Ziel ist es, übergangshilfe- und kontextspezifischen Erfolgs- und Misserfolges zu identifizieren und systematisch zusammenzusammen sowie entsprechende Handlungsempfehlungen daraus abzuleiten. Methodisch liegt der Synthese ein Mixed- Method Ansatz zu Grunde, bestehend aus einer Kombination aus qualitativer Inhaltsanalyse und QCA (Fuzzy- set qualitative comparative analysis). | 9/2020 | 3/2021 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
Messung der Kundenzufriedenheit bei AIZ-Dienstleistungen für GIZ-Vorhaben, Folgeerhebung 2020Leiter: Dr. Stefan Silvestrini Mitarbeiter: M.Sc. Anne Meysing Beschreibung Um eine stetige Qualitätssicherung zu gewährleisten, hat die Akademie für Internationale Zusammenarbeit (AIZ) die CEval GmbH zum zweiten Mal in Folge beauftragt die Kundenzufriedenheit bei AIZ- Dienstleistungen für GIZ- Vorhaben zu evaluieren. Zu diesem Zweck werden insgesamt elf GIZ-interne Kund*innen für Aufträge bis Juni 2020 zwischen Dezember 2020 und Januar 2021 telefonisch befragt und die Daten mittels deskriptiver Statistik ausgewertet.
Das Evaluierungsdesign gliedert sich in vier inhaltliche Bereiche: Kommunikation, Beratung und Dienstleistung, Arbeitsweise und Entwicklungsorientierung. Basierend auf den Befunden, werden sowohl Stärken als auch Schwächen der von der AIZ durchgeführten HCD-Maßnahmen sowie daraus resultierende Verbesserungspotenziale identifiziert. Abschließend erfolgt ein Vergleich der Daten mit denen aus dem Vorjahr in Hinblick auf mögliche Trends. | 9/2020 | 1/2021 | Dr. Stefan Silvestrini | Akademie für Internationale Zusammenarbeit (AIZ) |
Entwicklung eines Monitoring- und Evaluationskonzept für die Deutsche Stiftung für Internationale Rechtliche Zusammenarbeit e.V.Leiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Janis Wicke Beschreibung Seit 1992 unterstützt Die Deutsche Stiftung für internationale Rechtliche Zusammenarbeit e.V. (IRZ) im Auftrag und mit Mitteln des Bundesministeriums der Justiz und für Verbraucherschutz (BMJV) Partnerstaaten bei der Entwicklung und Konsolidierung rechtsstaatlicher und marktwirtschaftlicher Strukturen. Zu den rund 25 Partnerstaaten zählen u.a. neue EU Mitgliedsstaaten und Beitrittskandidaten sowie weitere Staaten Südosteuropas, Zentralasiens, Nordafrikas und des Nahen Ostens. Diese Staaten unterstützt die Stiftung insbesondere beim Schutz von Menschenrechten sowie in den Bereichen Rechtsstaatlichkeit und Justiz, Zivil- und Wirtschaftsrecht, öffentliches Recht, Strafrechtspflege sowie Europarecht.
Die CEval GmbH unterstützt die IRZ bei der Entwicklung eines umfassenden Monitoring- und Evaluationskonzeptes für die vom BMJV zuwendungsfinanzierte Programmelinie der Stiftung. Die Leistung umfasst die Operationalisierung des Zielsystems der IRZ mittels geeigneter Indikatoren und der Entwicklung eines Datenerhebungsplans. Dabei wird eine Bestandsaufnahme des bisherigen Instrumentariums der IRZ durchgeführt und daran angeschlossen. Im Rahmen der Implementierung des M&E-Konzepts wir die CEval GmbH ein dreitägigen Capacity Building Intensivtraining zur Schulung der Mitarbeiter des IRZ durchführen und die testweise Umsetzung der Monitoringinstrumente im Sinne eines Backstopping begleiten. Die Ergebnisse des Entwicklungsprozesses werden abschließend in einer Handreichung mit Hinweisen zur praktischen Umsetzung des M&E-Konzepts dokumentiert. | 9/2020 | 1/2021 | Dr. Stefan Silvestrini | Deutsche Stiftung für Internationale Rechtliche Zusammenarbeit e.V. |
Begleitende Evaluation des Karriereförderprogramms "Talente sichern - Zukunft gestalten" (2019/2020)Leiter: Dr. Vera Hennefeld Beschreibung Das Programm "Talente sichern - Zukunft gestalten" des Cusanuswerks - Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im siebten Programmdurchlauf 2019/2020 findet eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten. | 4/2019 | 12/2020 | Dr. Vera Hennefeld | Cusanuswerk - Bischöfliche Studienförderung |
Hochschulkooperation mit der Universität von Costa Rica (UCR) und der Päpstlichen Katholischen Universität von Ecuador (PUCE) gefördert durch das DAAD-Programm "Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern"Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Die Universität des Saarlandes (UdS) und die Universität von Costa Rica (UCR) pflegen seit 2008 eine intensive Zusammenarbeit, welche zwischen 2012 und 2015 durch das DAAD Programm "Fachbezogene Partnerschaften mit Hochschulen und Entwicklungsländern" unterstütz wurde. Durch das DAAD-Beraterprogramm war bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt worden. Vor dem Hintergrund eines stetig steigenden Bedarfs an Evaluationen und Evaluationskompetenzen sind beide Partner bestrebt die Zusammenarbeit im Rahmen des DAAD-Programms weiterzuführen und durch die Einbindung einer weiteren Partnerschule nachhaltig auszuweiten. Hierfür konnte die Päpstliche Katholische Universität von Ecuador (PUCE) gewonnen werden.
Kernstücke dieser dritten Phase der Kooperation sollen die Einführung eines neuen Blended Learning Masterstudiengangs in Evaluation an der PUCE bzw. eines Blended Learning Weiterbildungsangebotes am Centrum für Forschung und Weiterbildung in Öffentlicher Verwaltung (CICAP) der UCR sowie die Qualitätssicherung der Aus- und Weiterbildung in Evaluation in Costa Rica, Ecuador und Lateinamerika sein (Verbesserung der Aus- und Weiterbildung sowie der Forschung in Evaluation). Zudem stehen der Aufbeau eines lateinamerikanischen Hochschulnetzwerkes im Fachbereich Evaluation (Netzwerkbildung und Internationalisierung), die Stärkung des Praxisbezugs der akademischen Evaluationsausbildung sowie der Beitrag zu evidenzbasiertet Politikgestaltung (Anwendung wissenschaftlicher Evaluationsforschung in der politischen Praxis) und schließlich die Vertiefung und institutionelle Erweiterung der Zusammenareit zwischen den beteiligten Universitäten sowie dem Forschungsinstitut CICAP (Dreiecks- und Süd-Süd-Kooperation) auf dem Programm der auf vier Jahre angelegten Partnerschaft. | 7/2017 | 12/2020 | Laszlo Szentmarjay | Deutscher Akademischer Austauschdienst (DAAD) |
Monitoring & Evaluation of slum rehabilitation project in BrazilLeiter: Dr. Stefan Silvestrini Mitarbeiter: Teresa Böttcher Beschreibung Knorr-Bremse Global Care e.V. (KBGC) unterstützt zusammen mit einem lokalen Partner ein Trainings- und Rehabilitationsprojekt in Grajaú, einem Slum Gebiet in Sao Paolo. Das Projekt strebt eine Verbesserung von Lebensbedingungen der Slumbevölkerung an, in dem, zum einen, Trainingsmaßnahmen im Bereich des Zivilen Bauens für junge Erwachsene angeboten werden und, zum anderen, die ausgebildeten Jugendlichen zusammen mit der Slumbevölkerung und dem lokalen Partner nachhaltige und adäquate Wohnhäuser errichten.
CEval unterstützt KBGC beim Aufbau eines Monitorings- & Evaluationssystems, das Fortschritte gegenüber der Projektziele und Wirkungen des Projekts über eine Laufzeit von drei Jahren misst. Um kurz-, mittel- und langfristige Wirkungen zu erfassen, wird dabei eine Zeitreihenanalyse eingesetzt, die sich auf mehrere Datensammlungen durch Fragebögen stützt. Alle sechs Monaten werden die Teilnehmer des Trainingprogramms befragt, deren Daten analysiert und aufbereitet, und in Kurzberichten Erkenntnisse des Programfortschritts an KBGC und deren Partner kommuniziert. | 11/2017 | 11/2020 | Dr. Stefan Silvestrini | Knorr-Bremse Global Care e.V. |
Midterm-Review des FKPW-ProgrammsLeiter: Dr. Stefan Silvestrini Beschreibung Im internationalen Vergleich verfügen deutsche Kommunen aufgrund der ausgeprägten kommunalen Selbstverwaltung über vergleichsweise umfangreiche Kompetenzen, welche auch für die Entwicklungszusammenarbeit sehr wertvoll sind. Im Rahmen von kommunalen Partnerschaften führen deutsche Kommunen und Südkommunen gemeinsam Projekte in Kommunen des Globalen Südens durch. Dabei wird technisches Wissen aus der deutschen Kommune in die Partnerkommune transferiert. Die Servicestelle Kommunen der Einen Welt (SKEW) bietet verschiedene Möglichkeiten der Unterstützung des entwicklungspolitischen Engagements kommunaler Partnerschaften.
Eine dieser Fördermöglichkeiten ist das personelle Förderinstrument „Fachkräfte für Kommunale Partnerschaften Weltweit“ (FKPW). Im Rahmen des FKPW-Programms können sich kommunale Partnerschaften auf die Platzierung einer Fachkraft in der Partnerkommune bewerben, die die Schaffung von Strukturen und Kapazitäten vor Ort unterstützt. Ziel des FKPW-Programms ist es, kommunale Partnerschaften und den Einsatz der deutschen Kommune durch den Einsatz einer Fachkraft besser in Wert zu setzen.
Die CEval GmbH wurde von der GIZ mit der Durchführung eines Midterm-Reviews des FKPW-Programms beauftragt. Ziel des Reviews war es, die Sichtweisen der verschiedenen in das Programm involvierten Akteur*innen zusammen zu tragen und Empfehlungen für die weitere Ausgestaltung des Programms zu geben. Oberstes Ziel war somit das institutionelle Lernen auf Seiten der beiden durchführenden Organisationen, GIZ und SKEW. Am Ziel des Reviews orientiert war die Methodik rein qualitativ und basierte auf der Vorgehensweise der offenen Perspektivenerfassung. Für das Review wurden Interviews und Fokusgruppendiskussionen mit Vertreter*innen der deutschen Kommunen, der Partnerkommunen, mit den Fachkräften und dem Steuerungsteam des Programms sowie mit Vertreterinnen des zuständigen BMZ-Referates und Vertreter*innen verschiedener Bereiche innerhalb der GIZ und SKEW geführt. | 7/2020 | 11/2020 | Teresa Böttcher | Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) |
Entwicklung und Implementation eines M&E-Systems für das Projekt "EinTanzHaus"Leiter: Dr. Vera Hennefeld Mitarbeiter: Fabian Otto Beschreibung Mit dem EinTanzHaus soll in Mannheim ein Zentrum für zeitgenössischen Tanz in einem Kulturdenkmal von besonderer Bedeutung geschaffen werden. Das Team des EinTanzHauses hat unter der Leitung von Daria Holme durch den beispielhaften Umbau des denkmalgeschützten Sakralbaus die Voraussetzungen geschaffen, in Süddeutschland ein Tanzzentrum zu entwickeln, das durch seine Infrastruktur, seine Bühnengröße, seinen zentralen Standort in der Innenstadt und die künstlerische Erfahrung der Akteure für den Tanz in Deutschland neue Perspektiven eröffnen kann.
Aufgabe der CEval GmbH war es, ein M&E-Konzept zu entwickeln und umzusetzen, das der Projektsteuerung sowie der regelmäßigen Überprüfung der Zielerreichung und der Wirkungserfassung dient. Hierzu wurden in einem ersten Schritt gemeinsam mit den Beteiligten eine Zielhierarchie und wertbestückte Indikatoren für das EinTanzHaus sowie ein Datenerhebungsplan entwickelt, der einen Methodenmix aus teilstandardisierten Befragungen von Besuchern und Künstlern, qualitative Interviews mit relevanten Stakeholdern sowie eine Systematisierung prozessproduzierter Daten umfasst. Die CEval GmbH war in alle Schritte der Datenerhebung, -auswertung und -interpretation eingebunden und unterstützte so die Beteiligten in der strategischen Steuerung des Projektes und der Beurteilung der Zielerreichung des Vorhabens. | 11/2019 | 7/2020 | Dr. Vera Hennefeld | Kulturamt der Stadt Mannheim |
Evaluation des arbeitsweltbezogenen Demografie-Monitorings demowanda: Bedarfsorientiertes Coaching zur Durchführung einer SelbstevaluationLeiter: Dr. Vera Hennefeld Beschreibung "Die Bundesanstalt (BAuA) für Arbeitsschutz und Arbeitsmedizin erforscht die Bedingungen und die Entwicklungen innerhalb der Erwerbsarbeit, um Arbeitnehmerinnen und Arbeitnehmer heute und in Zukunft bestmöglich zu schützen und zu fördern". Unter anderem leitet die BAuA das Projekt Demografischer Wandel in der Arbeitswelt (demowanda). demowanda ist ein Demografie-Monitoringsystem, dessen Entwicklung vom Bundesministerium für Arbeit und Soziales beauftragt wurde.
Die BAua hat eine Selbstevaluation von demowanda - das Kollaborationsprojekt mit BiB, BIBB, DZA, IAB, RKI - durchgeführt. Gegenstand dieser Selbstevaluation durch die BAuA waren die Analyse und Bewertung des Verlaufs und der Zielerreichung sowie Wirksamkeit des Projektes demowanda.
Die BAuA hat die CEval GmbH mit der wissenschaftlichen Begleitung der Selbstevaluation beauftragt. Im Rahmen der Evaluationsbegleitung wurden bedarfsorientierte Coachings und Trainings der beteiligten Mitarbeiterinnen und Mitarbeiter durchgeführt. Hierdurch konnten die bereits vorhandenen Evaluationskenntnisse systematisch erweitert werden. Zugleich wurde die konzeptionelle und methodische Qualität der Selbstevaluation durch eine enge Begleitung aller konzeptionellen Schritte gesichert.
Das Coaching umfasste telefonische und Vor-Ort-Beratungen, Inhouse-Schulungen und Workshops sowie Unterstützung bei der Erstellung evaluationsrelevanter Unterlagen und Dokumente und deren Qualitätssicherung. | 9/2017 | 7/2020 | Dr. Vera Hennefeld | Bundesanstalt für Arbeitsschutz und Arbeitsmedizin (BAuA) |
Wirkungsevaluation des WIENCO Ghana Ltd. VertragsanbauLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth, Dipl.Reg.Wiss. Christina Gollan, Felix Stips Beschreibung Übergreifendes Ziel der Wirkungsevaluation ist es, die Wirksamkeit zweier vom Africa Agricultural and Trade Investments Fund (AATIF) finanzierten und von WIENCO Ghana gemanagten Vertragsanbauvorhaben in den Bereichen Kakao und Mais zu überprüfen und zu bewerten. Das Hauptinteresse der Evaluation liegt dabei insbesondere in der Bestimmung eines kausalen Zusammenhangs zwischen der Teilnahme an den Vorhaben von WIENCO und den folgenden Merkmalen:
- Produktivitätsniveau
- Beschäftigungsmöglichkeiten
- Betriebs- und Haushaltseinkommen
- Lebens- und Arbeitsbedingungen
- Risikoaussetzung des Haushaltseinkommen
- Eingesetzte Risikobewältigungs- und Managementstrategien der Haushalte und Betriebe
Die gewonnenen Erkenntnisse sollen dazu dienen, einen Nachweis über die Effektivität der Vertragsanbauvorhaben und damit der finanziellen Unterstützung durch den AATIF zu erbringen. Darüber hinaus soll für WIENCO ein einfaches Datenerhebungsinstrument für ein kontinuierliches Monitoring seiner Vorhaben entwickelt werden.
Die in Zusammenarbeit mit dem German Institute for Global and Area Studies (GIGA) und weiteren ghanaischen Partnern durchgeführte methodisch anspruchsvolle Wirkungsevaluation läuft über fünf Jahre, beginnend mit einer Baseline-Erhebung Anfang 2016. Zur Generierung einer möglichst validen Datenbasis wird dabei im Rahmen eines Multi-Methoden-Ansatzes quantitative Haushaltsbefragungen mit einer tiefgehenden qualitativen Kontextanalyse mittels Fokusgruppen- und Experteninterviews kombiniert. | 5/2015 | 5/2020 | Dr. Stefan Silvestrini | Common fund for Commodities |
Pilotprojekt zur gemeinsamen Spieltagsnachbereitung im ProfifußballLeiter: Dr. Vera Hennefeld Mitarbeiter: Fabian Otto Beschreibung Die Daniel Nivel Stiftung verfolgt das Ziel, das Verhältnis zwischen Fußballfans und Polizei zu verbessern. Die Stiftung kooperiert zur Erreichung dieses Ziels mit nationalen Fußballverbänden und hat 2018 die finanziellen Mittel für zwei Pilotprojekte freigegeben, eines mit dem französischen Fußballverband (FFF) und eines mit dem Deutschen Fußball-Bund (DFB). Auf deutscher Seite wurde in sog. Zukunftswerkstätten die Idee entwickelt, eine gemeinsame Spieltagsnachbereitung zu etablieren, in deren Rahmen ein Dialog zwischen Fußballfans und Polizei geschaffen wird. So sollen Konflikte nach Spieltagen aufgearbeitet und Lösungsvorschläge für zukünftige Ereignisse entwickelt werden.
Der DFB hat die CEval GmbH mit der wissenschaftlichen Begleitung dieses Projektes beauftragt. Die Aufgaben der CEval GmbH reichen von der Konzeption des Projektes (Ablauf der Nachbereitung, Auswahl von Pilotstandorten, etc.) über die Entwicklung geeigneter Instrumente zur Fanbefragung und Formate zur Spieltagsnachbereitung bis zur Unterstützung der Akteure bei der praktischen Durchführung und Moderation der Nachbereitung. Dabei werden unterschiedliche Abläufe und Formate zur Spieltagsnachbereitung getestet, um im Anschluss an die Pilotphase ein anwendungsfähiges Konzept vorlegen zu können. Alle Arbeitsschritte erfolgen in enger Zusammenarbeit mit dem Projektteam des DFB. Auch mit der Koordinationsstelle Fanprojekte (KOS) und der Deutschen Fußball Liga (DFL) gibt es einen regelmäßigen, projektbezogenen Austausch. Die Projektlaufzeit ist von Januar 2019 bis Mai 2020 angesetzt. In der ersten Jahreshälfte 2019 erfolgt die detaillierte Projektkonzeption und -ausarbeitung inkl. Arbeitstreffen und Workshops mit allen beteiligten Akteuren. In der zweiten Jahreshälfte, während der Hinrunde der Saison 2019/2020, wird das entwickelte Konzept zur Spieltagsnachbereitung in Zusammenarbeit mit ausgewählten Pilotstandorten aus dem Profifußball durchgeführt und getestet. Zentrale Partner sind dabei die Fanprojekte der entsprechenden Standorte. Im Anschluss folgen eine Bewertung und ggf. Anpassung des Konzepts zur Spieltagsnachbereitung sowie die Dokumentation des Projektes in Form eines Abschlussberichtes. | 1/2019 | 5/2020 | Dr. Vera Hennefeld | Deutscher Fußball-Bund e.V. |
Rapid Appraisals für zwei Moringa-InvestitionenLeiter: Dr. Stefan Silvestrini Mitarbeiter: Teresa Böttcher Beschreibung Moringa SCA SICAR ist ein Private-Equity-Fonds, der gegründet wurde als Reaktion auf das wachsende Interesse des Finanz- und Entwicklungssektors an Investitionen, die gleichzeitig eine finanzielle, ökologische und soziale Rendite bieten. Moringa konzentriert sich auf Investitionen in die Agroforstwirtschaft in afrikanischen und lateinamerikanischen Entwicklungs- und am wenigsten entwickelten Ländern. Moringa implementiert agroforstwirtschaftliche Landnutzungssysteme auf kommerzieller Basis mit einem kommerziellen Investitionsansatz, wobei eine große Anzahl benachbarter Kleinbauern und Verarbeiter durch vertragliche Vereinbarungen in das Geschäftsmodell integriert werden. Die Agroforstwirtschaftliche Technische Unterstützungsfazilität (ATAF) wurde von Moringa Partnership eingerichtet, um technische Unterstützung für Investitionen des Fonds zu leisten, mit dem Ziel, die positiven ökologischen und sozialen Auswirkungen, die durch Moringa-Investitionen ausgelöst werden, zu verstärken.
Die CEval GmbH wurde beauftragt, Baseline Rapid Appraisals für zwei Moringa Investments durchzuführen. Dabei liegt der Fokus auf der Lebenssituation der Landwirte und anderer relevanter Zielgruppen, wie z.B. Fabrikarbeiter. Methodisch folgen die Rapid Appraisals einem Mixed-Methods-Ansatz, welcher eine kleine Umfrage bei den Landwirten für jedes Rapid Appraisal sowie Interviews mit den relevanten Stakeholdergruppen beinhaltet. Die Rapid Appraisals werden für Moringa-Investitionen in Benin und Togo durchgeführt. | 10/2019 | 5/2020 | Dr. Stefan Silvestrini | Agroforestry Technical Assistance Facility (ATAF) |
Evaluation der im Jahr 2019 geförderten Flüchtlingsprojekte der
Beauftragten der Bundesregierung für Migration, Flüchtlinge und IntegrationLeiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge, M.A. Niklas Zierke, M.A. Janis Wicke Beschreibung Im Jahr 2019 förderte die Beauftragte der Bundesregierung für Migration, Flüchtlinge und Integration 25 Flüchtlingsprojekte in den Förderbereichen Stärkung des Ehrenamtes, Empowerment und Gewaltprävention sowie politische und gesellschaftliche Teilhabe. Ziel der Förderung war es, zu einer verbesserten gesellschaftlichen Integration und Teilhabe von Geflüchteten in Deutschland beizutragen.
Aufgabe der Evaluation war es, die Zielerreichung, Wirksamkeit und Wirtschaftlichkeit der geförderten Projekte zu beurteilen und Empfehlungen für zukünftige Förderungen abzuleiten. Gleichzeitig sollten die geförderten Projekte beim Aufbau und der Umsetzung eines wirkungsorientierten Monitorings ihrer Projekte unterstützt werden. Die Evaluation war als begleitende Evaluation mit formativen und summativen Elementen angelegt und beinhaltete eine Capacity Building Komponente zum wirkungsorientierten Monitoring. In methodischer Hinsicht wurde ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Unter anderem wurden eine Dokumentenanalyse, Leitfadeninterviews, Fokusgruppendiskussionen sowie eine Online-Befragung realisiert. | 4/2019 | 3/2020 | Dr. Vera Hennefeld | Beauftragte der Bundesregierung für Migration, Flüchtlinge und Integration |
Evaluation der Deutschen Strategie zur Anpassung an den KlimawandelLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Hansjörg Gaus, Selina Röhrig, M.A. Sandra Bäthge Beschreibung Die Deutsche Strategie zur Anpassung an den Klimawandel (DAS) und der dazugehörige Aktionsplan Anpassung sind die Hauptpfeiler der deutschen Anpassungspolitik. Langfristig verfolgt die Bundesregierung das Ziel, die Verwundbarkeit von Wirtschaft, Umwelt und Gesellschaft gegenüber den Folgen des Klimawandels zu reduzieren. Um dies zu erreichen, wurde in den vergangenen Jahren bereits eine Vielzahl konkreter Maßnahmen auf unterschiedlichen Ebenen umgesetzt. Für die Fortführung einer erfolgreichen Anpassung an den Klimawandel und für die Weiterentwicklung der Strategie ist es wichtig, den bisherigen Prozess kritisch zu reflektieren sowie erzielte Erfolge und mögliche Versäumnisse aufzuzeigen.
Übergreifendes Ziel der vom Umweltbundesamt (UBA) beauftragten Evaluation war es, herauszufinden, ob die DAS einen erfolgreichen strategischen Ansatz darstellt, um die Anpassungsfähigkeit natürlicher, gesellschaftlicher und ökonomischer Systeme an die Auswirkungen des Klimawandels zu steigern bzw. deren Vulnerabilität zu senken. Die Evaluation umfasste dabei drei zentrale Teile: In einer Prozessevaluation wurde der DAS-Prozess auf strategischer Ebene betrachtet, eine Umsetzungsevaluation analysierte den Umsetzungsstand der Anpassungsmaßnahmen auf Bundesebene und eine Wirkungsevaluation befasste sich kontributionsanalytisch mit der Wirkung der DAS auf die Vulnerabilität und Anpassungskapazität natürlicher, gesellschaftlicher und ökonomischer Systeme.
Gemeinsam mit adelphi führte das Centrum für Evaluation (CEval) die Evaluation im Auftrag des UBA durch. Dabei griff das Konsortium auf die in einem Vorgängervorhaben entwickelte und politisch bereits abgestimmte Methodik zurück. Entlang zentraler Evaluationsfragen und unter Berücksichtigung eines Wirkungsmodells wurden zunächst mit verschiedenen Methoden (Leitfadeninterviews, Dokumentenanalysen etc.) Daten erhoben. Anhand definierter Evaluationskriterien erfolgte anschließend eine umfassende Analyse und Auswertung der Daten. Die daraus resultierenden Ergebnisse und Empfehlungen wurden in einem onlinebasierten Delphi-Verfahren reflektiert und weiter verdichtet. | 7/2017 | 3/2020 | Dr. Stefan Silvestrini | Umweltbundesamt (UBA) |
Evaluation der "strategischen Kommunikation zu Flucht und Migration im Ausland" des Auswärtigen AmtsLeiter: Dr. Vera Hennefeld Mitarbeiter: Felix Stips, M.A. Niklas Zierke, Dr. Hansjörg Gaus Beschreibung Im Jahr 2016 initiierte das Auswärtige Amt (AA) eine neue Kommunikationsstrategie zu Flucht und Migration im Ausland. Diese setzt sich einerseits aus direkten Kommunikationsmaßnahmen wie einer eigenen Webseite und Informationen auf Social-Media-Kanälen zusammen und andererseits aus indirekter Kommunikationsarbeit durch Projektförderung von Partnerorganisationen. Ziel dieser Bemühungen ist es, zu einer besseren Informationsbasis zu Flucht und Migration im Ausland beizutragen und dabei humanitäre und völkerrechtliche Prinzipien zu stärken.
Aufgabe der Evaluation war es, die Zielerreichung, Wirksamkeit, Wirtschaftlichkeit und Nachhaltigkeit sowie die Impacts der geförderten Projekte und der direkten Kommunikationsangebote des AA zu bewerten und davon ausgehend Empfehlungen für zukünftige Förderungen und Strategieentwicklungen abzuleiten. Gleichzeitig sollten konzeptionelle Grundlagen zur künftigen Optimierung des wirkungsorientierten Monitorings aller Maßnahmen entwickelt werden. Die Evaluation enthielt summative und formative Elemente. Damit sollte die Evaluation einerseits das AA-interne Lernen im Bereich der Kommunikationsstrategie unterstützen und andererseits einer transparenten Rechenschaftslegung dienen.
Die Evaluation folgte einem theoriegeleiteten, partizipativen Ansatz, bei dem eine Vielzahl qualitativer und quantitativer Methoden der empirischen Sozialforschung angewandt und miteinander trianguliert wurden. Die Datenerhebungen umfassten Dokumenten- und Sekundäranalyse auf Projekt- und Programmebene, leitfadengestützte Telefoninterviews mit Zuständigen des AA, Feldstudien in Afghanistan, Irak und Nigeria, Expertengutachten, teilstandardisierte und experimentell angelegte Onlineerhebungen mit Projektpartnern und Zielgruppen sowie teilnehmende Beobachtung eines Austauschtreffens mit Vertretern der afrikanischen Diaspora. | 8/2019 | 3/2020 | Dr. Vera Hennefeld | Auswärtiges Amt (AA) |
Evaluation des „PROBONO Teacher Training” Programms in TansaniaLeiter: Dr. Stefan Silvestrini Mitarbeiter: Theresa Weippert Beschreibung Das PROBONO Teacher Training Programm zielt darauf ab zur Verbesserung der Bildungsqualität in Tansania beizutragen, da in den landesweiten Abschlussprüfungen insbesondere in den MINT-Fächern starker Aufholbedarf besteht. Dies geschieht durch die Durchführung einer Reihe von berufsbegleitende Workshops über 4 Jahre hinweg, durch das Bereitstellen von Ausrüstung und Infrastruktur an den Partnerschulen und durch die Förderung eines Netzwerks von Bildungsakteuren.
Die Finale Evaluation richtete sich an den OECD-DAC Kriterien aus (Relevanz, Effektivität, Wirkung, Nachhaltigkeit) um Empfehlungen für die Ausrichtung der nächsten Projektphase zu gewinnen.
Die Evaluation bediente sich verschiedener Methoden und bezog neben Einzelinterviews mit Projektverantwortlichen, Projektpartnern und SchulleiterInnen durch Fokus Gruppen Diskussionen auch die Stimmen der LehrerInnen, SchülerInnen und TrainerInnen ein. Eine umfangreiche Befragung aller teilnehmenden LehrerInnen und Trainer ermöglichte eine vertiefende quantitative Bewertung. | 8/2019 | 2/2020 | Theresa Weippert | PROBONO Schulpartnerschaft für Eine Welt e.V. |
Evaluation des Projektes "Digital Leadership" der Führungsakademie Baden-WürttembergLeiter: Dr. Vera Hennefeld Mitarbeiter: Fabian Otto Beschreibung Seit März 2018 bietet die Führungsakademie Baden-Württemberg (FüAK) das Programm „Digital Leadership“ an. Das Programm umfasst unterschiedliche Fortbildungsformate zur Förderung „digitaler Kompetenzen“ von Führungskräften der Verwaltungen des Landes Baden-Württemberg. Ziel ist es, diese Führungskräfte auf die Anforderungen des Digitalen Wandels vorzubereiten, sie miteinander zu vernetzen und mit den erforderlichen Kompetenzen auszustatten, damit sie in ihren Institutionen den digitalen Wandel vorantreiben und gestalten können. Zu den Formaten des Programms zählen fachliche Fortbildungen (z.B. Programmieren, Design Thinking), Netzwerkveranstaltungen, Learning Journeys zu innovativen Unternehmen und themenspezifische Fokusgruppen. Gegenstand der Evaluation waren die unterschiedlichen Fortbildungsformate des Programms. Diese wurden hinsichtlich ihrer Wirkungen evaluiert. Der Fokus lag dabei auf der Outcome-Ebene, also auf den kurz- und mittelfristigen Wirkungen der verschiedenen Veranstaltungen. Dazu wurde im Sinne des partizipativen Evaluationsansatzes der CEval GmbH gemeinsam mit dem Projektteam eine Wirkungslogik erarbeitet. Die Wirkungen wurden im Rahmen der Evaluation mithilfe eines Multimethodenansatzes überprüft. Zum einen wurden Teilnehmerfragebögen entwickelt und zu zwei Zeitpunkten, am Veranstaltungsende und nach einer definierten Wirkungsphase, eingesetzt. Zum anderen wurden Interviews mit unterschiedlichen Stakeholdergruppen geführt, um so tiefergehende Einschätzungen zu relevanten Aspekten des Programms zu erhalten. Auf diese Weise konnten die Vorteile beider Datenerhebungsmethoden kombiniert und zur Bewertung der Fortbildungsformate genutzt werden. Auf Basis der Erkenntnisse wurden Empfehlungen zur Weiterentwicklung und Optimierung des Fortbildungsprogramms entwickelt. | 12/2018 | 2/2020 | Dr. Vera Hennefeld | Führungsakademie Baden-Württemberg |
Datenerhebung zur Vergabe des Qualitätssiegels "Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit"Leiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge Beschreibung In Deutschland existiert ein dichtes Netzwerk von Einrichtungen der sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit (NKSS) arbeiten. Das "Qualitätssiegel nach dem Nationalen Konzept Sport und Sicherheit" wurde im Jahr 2010 mit dem Ziel eingeführt, diesen sozialpädagogisch arbeitenden Fußballfanprojekten in Deutschland ein Instrument der Qualitätssicherung an die Hand zu geben, um gemeinsame Standards und mehr Handlungssicherheit herbeizuführen und die strukturellen Rahmenbedingungen der sozialpädagogisch arbeitenden Fußballfanprojekte zu verbessern. Das Qualitätssiegel wird vergeben von der AG Qualitätssicherung, welche durch die Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS) koordiniert wird. In der AG Qualitätssicherung sind Vertreter aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft und der Fanprojekte selbst vertreten.
In einem ersten Teilprojekt (5/2015-06/2016) wurde (a) das Qualitätssiegel von der CEval GmbH überarbeitet, (b) modellhaft mit fünf Fanprojekten getestet und so (c) ein standardisiertes, praxistauglisches Konzept zur Erhebung der für die Siegelvergabe erforderlichen Informationen entwickelt. Das Qualitätssiegel ist damit heute ein valides Zeichen für die hohe Qualität der Arbeit von Fanprojekten.
Im zweiten Teilprojekt unterstützte die CEval GmbH die bundesweite Ausrollung des überarbeiteten Qualitätssiegels durch die Erhebung der für die Vergabe notwendigen Informationen in allen Fanprojekten Deutschlands. | 10/2017 | 12/2019 | Dr. Vera Hennefeld | Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS) |
Sektor-Evaluierung der Klimaprojekte im Rahmen der BMZ-Sonderinitiative Klima der Hanns-Seidel-Stiftung e.V. 2019Leiter: Dr. Stefan Silvestrini Mitarbeiter: Laszlo Szentmarjay, Teresa Böttcher Beschreibung Die Hanns-Seidel-Stiftung (HSS) bezieht seit 2011 Mittel aus der Sonderinitiative Klima des BMZ und führt seitdem Projektmaßnahmen in zahlreichen Ländern im Bereich Klima, Umwelt und Energie durch. Mit den Maßnahmen in dem Bereich soll ein Beitrag zum Umwelt- und Naturschutz insgesamt geleistet werden sowie zur Bekämpfung des und Anpassung an den Klimawandel, zur nachhaltigen Energieversorgung und Ressourceneffizienz sowie zur nachhaltigen und umweltbewussten Land- und Forstwirtschaft. Formativ wurde aus dem Kontext der aktuellen Auslandsarbeit der Hanns-Seidel-Stiftung in den Themenbereichen Klima-Umwelt-Energie (KUE) und deren internationalen Lösungsversuchen, eine grundlegende Strategie erarbeitet. Diese wurde am Beispiel von drei Projekten in den Ländern Indien, Bolivien und Namibia von der CEval GmbH evaluiert.
Methodisch gesehen beinhaltete die Evaluation einen theoriebasierten Anteil, welcher in der Rekonstruktion der Theories of Change (ToC) der drei Projekte bestand. Außerdem wurden die drei ausgewählten Projekte auf Projektebene evaluiert, wofür Feldphasen in allen drei Ländern durchgeführt wurden und Interviews mit Partnern und Zielgruppen geführt wurden. Zudem beinhaltete die Evaluation einen Syntheseteil, welcher sich auf die Klimastrategie der Hanns-Seidel-Stiftung allgemein bezog und in welchem die Ergebnisse aus den Evaluationen der drei Projekte gebündelt und mit Informationen aus der Zentrale der HSS in München ergänzt wurden. | 8/2019 | 12/2019 | Dr. Stefan Silvestrini | Hanns-Seidel-Stiftung (HSS) |
Entwicklung einer Systematik von Indikatoren zur Messung sozialer Ungleichheiten im Kontext deutscher EntwicklungszusammenarbeitLeiter: Dr. Stefan Silvestrini Beschreibung Im Kontext der Sustainable Development Goals (SDG 2030) haben die Vereinten Nationen erstmals auch die Reduzierung sozialer Ungleichheiten als zentrales Ziel internationaler Entwicklungspolitik formuliert. Vor diesem Hintergrund hat der Abbau sozialer Ungleichheiten auch in der deutschen Entwicklungszusammenarbeit an Relevanz gewonnen. Um Projekte der deutschen EZ auf ihre Wirkung auf soziale Ungleichheiten zu evaluieren, ist die Entwicklung von spezifischen und validen Indikatoren zentraler Ausgangspunkt.
Das CEval hat eine Zusammenstellung von Indikatoren zur Messung sozialer Ungleichheit erarbeitet und eine Systematik entwickelt, die Indikatoren nach vertikalen und horizontalen Ungleichheitsdimensionen, Sektoren und Handlungsebenen strukturiert. Darüber hinaus wurden relevante Indikatoren an den Kontext der deutschen Entwicklungszusammenarbeit adaptiert und für die Projektarbeit der GIZ in den Partnerländern nutzbar gemacht. | 9/2019 | 11/2019 | M.A. Janis Wicke | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
Evaluation von zwei Schul-Rehabilitations Projekten in NepalLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Theresa Weippert Beschreibung Während zwei massiver Erdbeben in Nepal im Jahr 2015 wurden tausende von Schulen zerstört. Zusammen mit dem Konsortiumpartnern Helvetas und Schweizer Rot Kreuz errichtete Caritas Schweiz im Zuge eines Rehabilitationsprojektes 36 Schulen in der schwer zugänglichen Bergregion Sindhupalchok. Das Projekt umfasste Trainingsmaßnahmen zu „disaster risk reduction“, Instandhaltung und WASH (water, sanitation, hygiene) sowie soziale Interaktion mit Schulabbrechern.
Die Finale Evaluation richtete sich an drei Kriterien der Core Humanitarian Standards aus (Appropriateness and relevance, effectiveness and timeliness, preparedness and resilience) um Lehren für weitere Katastrophenhilfseinsätze zu gewinnen.
Die Evaluation bediente sich verschiedener Methoden und bezog neben Einzelinterviews mit Projektverantwortlichen, Vertretern der nationalen Autorität, Teammitgliedern, Schulleitern und Bürgermeistern auch durch Gruppendiskussionen die Stimmen der Schulverwaltungsgremien und LehrerInnen ein. Eine umfangreiche Befragung mehrerer hundert SchülerInnen, Eltern und Lehrer ermöglichte eine vertiefende quantitative Bewertung. | 8/2019 | 10/2019 | Prof. Dr. Reinhard Stockmann | Caritas Schweiz |
Meta-Evaluation von CoE Projekt- und Programmevaluationen (2016-2019)Leiter: Dr. Stefan Silvestrini Beschreibung Im Rahmen seiner Qualitätssicherung von dezentralen Evaluierungsberichten hat der Europarat die CEval GmbH beauftragt, eine Stichprobe von 32 dezentralen Evaluierungsberichten, die von verschiedenen der Hauptverwaltungseinheiten des Europarates für den Zeitraum 2016-2019 erstellt wurden, einer unabhängigen Qualitätskontrolle zu unterziehen. Übergeordnetes Ziel dieser Bestandsaufnahme war es, die Errichtung eines Bewertungsrahmens und die Gestaltung eines Qualitätssicherungssystems für den Europarat zu unterstützen.
Dementsprechend gibt der Qualitäts-Check Auskunft darüber, in welchem Ausmaß die dezentralen Evaluierungen allgemein anerkannten internationalen Qualitätsstandards entsprechen, und gibt Empfehlungen, welche Aspekte verbessert werden sollten. Außerdem liefert er eine Gesamtbewertung der wichtigsten Stärken und Schwächen der dezentralen Evaluierungsberichte; ermittelt die wichtigsten Ergebnisse, Empfehlungen und Erfahrungen zum Aufbau institutioneller Kapazitäten im Europarat; und gibt schließlich Empfehlungen für die Schaffung eines Rahmens für die Qualitätssicherung. Die Bewertung wurde auf Grundlage eines Analyserasters durchgeführt, welches alle relevanten Bewertungskriterien und -indikatoren sowie detaillierte Leitlinien enthält, um die Inter-Rater-Reliabilität sicherzustellen und somit eine maximale Objektivität der Ergebnisse zu gewährleisten. | 7/2019 | 9/2019 | Teresa Böttcher | Council of Europe (CoE) |
Wissenschaftliche Begleitung einer Wirkungsanalyse des Projektes „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“Leiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge, M.A. Janis Wicke Beschreibung Der Landesbund für Vogelschutz in Bayern e.V. (LBV) führte im Schuljahr 2018/19 zum zweiten Mal das Projekt „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“ durch. Es zielte darauf ab, zu einer Mobilisierung der Jugend für Nachhaltigkeitsfragen beizutragen. Das Projekt richtete sich an Schülerinnen und Schüler bayerischer beruflicher Schulen. Mit dem Projekt sollte ihre Aufmerksamkeit in dieser wichtigen Lebensphase der beruflichen Orientierung auf Nachhaltigkeitsthemen gelenkt und ihr Bewusstsein für entsprechende Themen gestärkt werden. Hierzu setzten die Schülerinnen und Schüler eigenverantwortlich Projektideen für einen nachhaltigeren Schulalltag an ihren Schulen um. Das Projekt wurde einer Wirkungsanalyse unterzogen, welche im Rahmen einer begleitenden Evaluation gemeinsam von LBV und CEval GmbH durchgeführt wurde. Ziel war es zu ermitteln, ob die durch das Projekt angestrebten Wirkungen tatsächlich eintreten, ob sich also die Nachhaltigkeitseinstellungen und das -verhalten der teilnehmenden Schülerinnen und Schüler verändern und ob es gelingt, das Thema Nachhaltigkeit noch besser an bayrischen beruflichen Schulen zu verankern. In methodischer Hinsicht wurde eine standardisierte Vorher-Nachher-Befragung der am Projekt teilnehmenden Schülerinnen und Schüler (Interventionsgruppe) sowie einer Vergleichsgruppe durchgeführt. Zusätzlich wurden vor und nach dem Projekt leitfadengestützte Interviews mit dem die Projekte betreuenden Lehrpersonal geführt. | 6/2018 | 8/2019 | Dr. Vera Hennefeld | Landesbund für Vogelschutz in Bayern (LBV) e.V. |
Rahmenvertrag für die Entwicklung und Implementierung wirkungsorientierter Monitoringsysteme von DAAD-ProgrammenLeiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge Beschreibung Projektziel ist es, den DAAD in die Lage zu versetzen, dem steigenden Anspruch an Wirkungsorientierung und kontrolle in seinen Förderbereichen noch besser gerecht zu werden. Damit möchte sich der DAAD noch stärker an konkreten Entwicklungsergebnissen orientieren und eine noch stärkere Anpassung an den Bedarf seiner Partner sichern (managing for results). Als Mittlerorganisation ist der DAAD auf eine wirkungsorientierte Planung, Steuerung und Berichterstattung der Hochschulen als Projektnehmer angewiesen. Die einzuführenden Monitoringsysteme sollen dazu beitragen, die Qualität von Informationen über Programmaktivitäten zu steigern, sowohl im Rahmen der Rechenschaftslegung durch die Fördernehmer als auch im Dialog zwischen den Beteiligten (Förderorganisationen, DAAD, Hochschulen). Dadurch können gemeinsames Lernen und die strategische Weiterentwicklung der Förderprogramme des DAAD befördert werden.
Die Aktivitäten des CEval bei diesem Vorhaben lassen sich folgenden Bereichen zuordnen: Entwicklung programmspezifischer Wirkungsgefüge und Indikatorenkataloge sowohl für bestehende als auch zukünftige Fördervorhaben; Anpassung bestehender Monitoringprozesse, -verfahren und -instrumente zur Projektplanung, Steuerung und Berichterstattung im Rahmen der Förderprogramme und Ausarbeitung programmspezifischer Monitoring- und Umsetzungskonzepte. Zudem schult das CEval Mitarbeiterinnen und Mitarbeiter des DAAD sowie der Hochschulen im Bereich der wirkungsorientierten Planung und des Monitorings (capacity building). | 6/2016 | 5/2019 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
Evaluation des Programms "DLR-DAAD Research Fellowships"Leiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge Beschreibung Das Deutsche Zentrum für Luft- und Raumfahrt (DLR) setzt seit 2008 gemeinsam mit dem DAAD ein Stipendienprogramm in den Fachbereichen Energie, Luft- und Raumfahrt und Transport um. Es zielt darauf ab, einen Beitrag zur stärkeren Internationalisierung der DLR-Institute zu leisten sowie künftige Forscherpersönlichkeiten zu entwickeln, die Deutschland als Partner und Freunde verbunden sind. Ziel der Evaluation des Programms war einerseits, im Sinne einer Bilanzierung die bisherigen mittel- bis langfristigen Wirkungen des Programms zu bewerten. Andererseits sollte die Evaluation mit Blick auf eine mögliche Fortführung des Programms eventuelle Optimierungspotenziale aufdecken und Vorschläge zu damit verbundenen Veränderungen entwickeln. In methodischer Hinsicht legte die Evaluation einen Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden zu Grunde. Dabei wurden Leitfadeninterviews, Fokusgruppen, Standortbegehungen sowie eine Online-Befragung durchgeführt. | 11/2018 | 5/2019 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
Ex-post Assessment des Strategic Fairtrade Funding Programms (SFFP), Phase II (2010-2013)Leiter: Dr. Susanne Johanna Väth Mitarbeiter: M.Sc. Elisabeth Schneider Beschreibung Eines der Hauptziele des Eidgenössischen Departments für Handelsförderung ist es, faire Handelsbedingungen mit Entwicklungsländern zu unterstützen. Private Labels und Standards leisten hier einen wesentlichen Beitrag. Dementsprechend unterstützte das Staatssekretariat für Wirtschaft (SECO) von 2008 bis 2009 und von 2010 bis 2013 das Strategic Fairtrade Funding Programme (SFFP) als Teil eines Geberkonsortiums. Hauptziel der harmonisierten Finanzierung war es, benachteiligte Produzent/-innen in die Lage zu versetzen, stärkere Handelsverbindungen zu Verbrauchern herzustellen, einen besseren Marktzugang zu erhalten und zur Armutsbekämpfung befähigt zu werden.
Bereits 2014/2015 wurde eine Evaluation durchgeführt, die die Phase II des Förderprogramms untersuchte. Weitere Studien zur Wirkung von Fairtrade umfassen u.a. eine Follow-up-Wirkungsstudie auf Produzentenebene, die sechs Produkt- und Kontextsettings umfasst und vom Centrum für Evaluation (CEval GmbH) 2017/2018 durchgeführt wurde. Vier Jahre nach Auslaufen des SFFP ist es nun für SECO von Interesse, den Grad der Zielerreichung der im SFFP Logic Framework festgelegten strategischen Indikatoren zu beurteilen sowie SECOs Beitrag hierzu zu untersuchen.
Das Ex-post Assessment verfolgt somit drei Ziele: (i) bestehende Informationen zur Wirkung von SECOs Unterstützung für das Fairtrade-System nutzbar machen, (ii) die Ergebnisse früherer Studien durch neue Daten zur Relevanz und Nachhaltigkeit des Programms zu ergänzen und (iii) die wichtigsten Erkenntnisse, Empfehlungen und Lessons Learnt im Hinblick auf künftiges Engagement von SECO im Bereich Fairtrade herauszuarbeiten. Zu diesem Zweck wird CEval relevante Sekundärdaten untersuchen und zusätzliche Primärdaten bei Stakeholdern der FT-Zentrale, dreier FT-Regionalnetzwerke und FT USA erheben. | 9/2018 | 1/2019 | Dr. Susanne Johanna Väth | Schweizer Staatssekretariat für Wirtschaft (SECO) |
Evaluation eines Capacity Development Projekts zur Verbesserung von Kinderschutzsystemen in Äthiopien und IndienLeiter: Dr. Susanne Johanna Väth Mitarbeiter: M.A. Tatjana Mauthofer Beschreibung Weltweit sind Kinder in ihrem täglichen Leben zahlreichen Risikofaktoren ausgesetzt. In Anbetracht der Komplexität der Ursachen dafür, haben sich funktionierende Kinderschutzsysteme als wirksam erwiesen um Risiken entgegenzuwirken und Gewalt, Ausbeutung und Missbrauch zu verhindern. Kindernothilfe e.V. initiierte 2014 gemeinsam mit der Karl Kübel Stiftung, dem Child Fund und terre des hommes das Projekt "Entwicklung und Umsetzung institutioneller Kinderschutzpolitiken sowie Vernetzung mit lokalen Kinderschutzsystemen durch mindestens 240 Organisationen in neun Ländern Asiens und Afrikas". Da das Projekt im Dezember 2018 endet, beauftragte Kindernothilfe e.V. das Centrum für Evaluation im August 2018 mit der Durchführung einer Evaluation. Ziel dieser ist es die Wirkungen des Projekts zu identifizieren und Erkenntnisse und Empfehlungen für zukünftige Interventionen auszusprechen. Ein wesentlicher Teil dabei ist es, die Theory of Change (ToC) des Projekts rückwirkend zu entwickeln, wobei die Partizipation von Konsortialpartnern, nationalen Trainern sowie der Zielgruppe und Begünstigten heirfür eine große Rolle spielt. Im Oktober 2018 finden Feldbesuche in Äthiopien und Südindien statt um insgesamt sechs Partnerorganisationen zu besuchen und Interviews und Fokusgruppengespräche zu führen. Kinder werden in die Evaluation miteingeschlossen, wofür kindgerechte, partizipative Forschungsmethoden, wie Picture Talk und Smiley-face-Skalen angewandt werden. Am Ende jedes Feldbesuchs findet ein eintägiger Workshop statt zu dem alle am Projekt teilgenommenen Organisationen der jeweiligen Region eingeladen sind. Während des Workshops werden vorläufige Ergebnisse sowie die ToC vorgestellt, diskutiert und validiert. Schließlich werden die verschiedenen Daten analysiert, trianguliert und die Ergebnisse den Konsortialpartnern vorgestellt. | 8/2018 | 1/2019 | Dr. Susanne Johanna Väth | Kindernothilfe e.V. |
Begleitende Evaluation des Karriereförderprogramms "Talente sichern - Zukunft gestalten"(2017-2018)Leiter: Dr. Vera Hennefeld Beschreibung Das Programm "Talente sichern - Zukunft gestalten" des Cusanuswerks - Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im sechsten Programmdurchlauf 2017-2018 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten. | 6/2017 | 12/2018 | Dr. Vera Hennefeld | Cusanuswerk - Bischöfliche Studienförderung |
Meta-Evaluation von ADA Projekt- und Programmevaluationen 2016-2018Leiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Sandra Bäthge, Teresa Böttcher Beschreibung Gegenstand der Meta-Evaluation waren die ADA-Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit, welche zwischen 2016 und 2018 durchgeführt wurden. Ziel war es, die Qualität und Nützlichkeit der (internen und externen) Evaluationen zu bewerten und daraus Empfehlungen zur Verbesserung des ADA-Instrumentariums für das Design und die Durchführung zukünftiger Evaluationen abzuleiten.
Im Zentrum der Meta-Evaluation stand dabei eine Dokumentenanalyse, mittels derer auf Grundlage eines detaillierten Analyseprotokolls die Qualität der Evaluationsberichte bewertet wurde. Durch den Einsatz eines solchen Protokolls, das alle relevanten Analysedimensionen, Indikatoren und Skalendefinitionen beinhaltet, wurde sichergestellt, dass die Bewertungsergebnisse verlässlich und nachvollziehbar sind. Zur Bewertung der Nützlichkeit und Nutzung der Evaluationen, wurden deren Nutzer/innen (z.B. Programmverantwortliche) im Rahmen von leitfadengestützten Einzel- und Gruppeninterviews sowie – zur Gewährleistung einer größtmöglichen Repräsentativität der Untersuchungsergebnisse – einer teilstandardisierten Online-Erhebung befragt. | 8/2018 | 12/2018 | Dr. Stefan Silvestrini | Austrian Development Agency (ADA) |
Integration des Programms „Servicestelle Kommunen in der Einen Welt“ (SKEW) in das M&E-System von Engagement GlobalLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling Beschreibung Anfang 2012 wurde mit Engagement Global gGmbH auf Bundesebene eine zentrale Einrichtung zur Förderung und Koordination des entwicklungspolitischen Engagements zivilgesellschaftlicher, kommunaler und privatwirtschaftlicher Akteure sowie zur entwicklungspolitischen Informations- und Bildungsarbeit geschaffen. Die SKEW – ein Programm von Engagement Global – fokussiert sich insbesondere auf die Förderung von kommunaler Entwicklungszusammenarbeit. Um sowohl die zweckgemäße Verwendung dieser Mittel, als auch vor allem die Wirksamkeit ihres Einsatzes belegen zu können, hat Engagement Global für alle Fachbereiche und Programme die Grundlagen zur technischen Implementierung eines umfassenden Monitoring- und Evaluations- (M&E) System geschaffen.
Da die SKEW in der damaligen Entwicklung des Monitoringsystems ausgenommen wurde, wurden das CEval und ISPO nun damit beauftragt die Einbindung der SKEW in das organisationsweite Monitoringsystem vorzunehmen. Wie bei der Konzeption des hausweiten M&E-Systems werden zuerst die Wirkungsmodelle und Indikatoren überprüft oder entwickelt. Die Zielsetzungen und Indikatoren werden daraufhin in die strategischen Richtungsaussagen von Engagement Global integriert. Um die Erstellung eines Monitoringsystems für die SKEW zu vervollständigen, wird zudem im nächsten Schritt ein Datenerhebungsplan erstellt und die zugehörigen Datenerhebungsinstrumente werden (weiter-) entwickelt. | 8/2018 | 12/2018 | Dr. Stefan Silvestrini | Engagement Global Service für Entwicklungsinitiativen gGmbH |
Evaluation von APPEAR Projekten (Programmphasen I und II)Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling, M.A. Tatjana Mauthofer Beschreibung Das Austrian Partnership Programme in Higher Education and Research for Development (APPEAR) wird von der Austrian Development Agency (ADA) konzipiert, geleitet und finanziert, um die Strategie Higher Education and Scientific Cooperation" zur Unterstützung von Hochschulen und Forschung für Entwicklung auf akademischer Ebene umzusetzen. Mit Unterstützung des World University Service (WUS) Österreich werden die geförderten Projekte von der Österreichischen Agentur für internationale Mobilität und Zusammenarbeit in Bildung, Wissenschaft und Forschung (OeAD GmbH) durchgeführt. Das übergeordnete Ziel von APPEAR ist die Stärkung der institutionellen Kapazitäten in den Bereichen Hochschulbildung, Forschung und Management durch akademische Partnerschaften mit österreichischen Hochschulen und durch Stipendien. Ziel der Partnerschaften ist es, die allgemeinen Standards in den Bereichen Hochschulbildung, Forschung und Management durch Wissenstransfer und innovative Projekte zu verbessern. Die Erreichung dieser Ziele soll schließlich zu einer wirksamen und nachhaltigen Armutsbekämpfung in den Partnerländern beitragen.
Übergeordnetes Ziel der Evaluation war es, die laufenden und abgeschlossenen Projekte der APPEAR-Phasen I und II zu bewerten. Dabei wurde analysiert, inwiefern die APPEAR-Richtlinien und Grundprinzipien bei der Projektumsetzung eingehalten wurden und in welchem Umfang, die Projekte ihre Ziele und Ergebnisse erreichen konnten. Darüber hinaus wurden die Projekte nach den OECD/DAC-Kriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit bewertet. Dabei zielte die Evaluierung darauf ab, die Stärken, Schwächen und Herausforderungen der APPEAR-Projekte zu identifizieren und Schlussfolgerungen, Lehren und Empfehlungen für die verbleibenden oder zukünftigen Projekte zu präsentieren.
Bei der Bewertung kamen verschiedene Methoden zum Einsatz. Primärdaten wurden bei Projektbesuchen in Äthiopien und Uganda, Interviews und Gruppendiskussionen mit Projektpartnern in Österreich sowie in online Interviews mit Projektmitarbeiter*innen in Nicaragua erhoben. Die Datenerhebungsinstrumente umfassen auch teilstandardisierte Befragungen, Programm- und Projektdokumentationen sowie frühere Programme. | 3/2018 | 10/2018 | Dr. Stefan Silvestrini | Österreichischer Austauschdienst (OeAD)-GmbH |
Auswertung der Gefahrenabwehr und Schäden nach den Starkregenereignissen im Saarland von Mai/Juni 2018Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Hansjörg Gaus, Fabian Otto Beschreibung In den Monaten Mai und Juni 2018 wurde das Saarland durch schwere Unwetter getroffen, wobei in einer Reihe von Kommunen hohe Schäden durch Starkregen verursacht wurden. Das Ministerium für Umwelt und Verbraucherschutz des Saarlandes (MUV) beabsichtigte im Nachgang dieser Ereignisse die Maßnahmen zur Gefahrenabwehr und der Abwehr von Schäden zu überprüfen. Dazu sollte eine Stärken- und Schwächenanalyse der Gefahrenabwehr bezüglich Vorbereitung, Bewältigung und Nachbereitung der Ereignisse durchgeführt werden, anhand derer Verbesserungspotenziale erkannt und Handlungsempfehlungen abgeleitet werden können. Darüber hinaus sollte eine Auswertung der entstandenen Schäden vorgenommen werden.
Zur Analyse der Stärken und Schwächen der Gefahrenabwehr wurden insgesamt 62 leitfadengestützte Interviews mit Vertreter*innen der Feuerwehr und des Technischen Hilfswerks sowie Bürgermeistern, Ortsvorstehern und relevanten Mitarbeitern kommunaler Behörden und Kreisbehörden geführt. Die inhaltsanalytische Auswertung dieser Interviews bildete die Grundlage zur Identifikation von Verbesserungspotenzialen und zum Ableiten konkreter Handlungsempfehlungen. Die Schäden im Bereich von kommunaler Infrastruktur und Privathaushalten wurden anhand der vom Auftraggeber bereitgestellten Daten quantitativ ausgewertet. | 9/2018 | 10/2018 | Dr. Susanne Johanna Väth | Ministerium für Umwelt und Verbraucherschutz des Saarlandes |
Begleitende Evaluation des Studienbegleitprogramms des Masterstudiengangs AMASELeiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Sandra Bäthge, Dr. Cornelia Römling Beschreibung Die European School of Materials (EUSMAT) der Universität des Saarlandes bietet im Konsortium mit drei weiteren europäischen Universitäten (Luleå Technical University, Schweden, Barcelona Tech, Spanien und Université de Lorraine, Frankreich) den internationalen Masterstudiengang AMASE (Advanced Materials Science and Engineering) an. Die Studierenden haben die Möglichkeit, zu Beginn des Studiums an einer Einführungswoche in Saarbrücken teilzunehmen, die darauf abzielt, eine grundlegende Orientierung bezüglich des Studienverlaufs zu vermitteln sowie mithilfe von Trainings diverse Schlüsselkompetenzen zu stärken. Nach dem ersten Jahr des zweijährigen Masterstudiums wird den Studierenden zudem die Teilnahme an einer Sommerschule in Saarbrücken angeboten, deren Ziel es ist, die Studierenden mit Blick auf Ihren Berufseinstieg zu unterstützen.
Beide Veranstaltungen wurden als Bestandteil des Studienbegleitprogramms evaluiert. Im Rahmen einer begleitenden Evaluation stand die Ermittlung des Nutzens der beiden Angebote für die Zielgruppe im Mittelpunkt. In methodischer Hinsicht wurden hierfür zwei standardisierte Befragungen sowie Fokusgruppendiskussionen mit den Teilnehmenden der beiden Veranstaltungen durchgeführt. | 7/2018 | 9/2018 | Dr. Vera Hennefeld | European School of Materials (EUSMAT) |
Auswertung der Verbraucher*innenbefragung 2018 des Forum Fairer HandelLeiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Sandra Bäthge Beschreibung Seit 2007 gibt das Forum Fairer Handel in unregelmäßigen Abständen repräsentative Befragungen der deutschen Bevölkerung zum Fairen Handel in Auftrag. Auch 2018 hat eine solche Befragung stattgefunden. Neben verschiedenen Facetten des Kaufs fair gehandelter Produkte ging es hierbei auch um die Einstellungen der Befragten gegenüber den politischen Anliegen des Fairen Handels.
Das Forum Fairer Handel hat die CEval GmbH mit der Auswertung der Ergebnisse der Befragung beauftragt. Die Daten wurden deskriptiv statistisch ausgewertet. Bei einzelnen Fragen wurden zudem Unterschiede im Antwortverhalten verschiedener Befragtengruppen untersucht. Bei Fragen, für die bereits Daten aus den vom Forum Fairer Handel beauftragten Erhebungen der Vorjahre existierten, wurden zudem Entwicklungen und Trends im Zeitverlauf dargestellt. | 3/2018 | 8/2018 | M.A. Sandra Bäthge | Forum Fairer Handel |
Evaluation von CAPAQUA –Development of Educational and Research CAPacity in Eastern Africa for the Sustainable Management of AQUAatic EcosystemsLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling Beschreibung Das Projekt CAPAQUA (Development of Educational and Research CAPacity in Eastern Africa for the Sustainable Management of AQUAatic Ecosystems) zielt darauf ab, die Kapazitäten ostafrikanischer Institutionen im Bereich Hochschulbildung, Wissenschaft und Technologie (Higher Education, Science and Technology (HEST)) zu stärken. CAPAQUA wird gemeinsam von der Universität für Bodenkultur (BOKU), Wien, dem IHE Delft Institute for Water Education, der Egerton University (EGU), der Addis Abeba University (AAU), der Bahir Dar University und dem Ethiopian Institute for Agricultural Research, National Fish and Other Aquatic Lives Research Center (EIAR-NFALRC) durchgeführt. Ziel von CAPAQUA ist es dabei, zu einer nachhaltigen Bewirtschaftung der aquatischen Ökosysteme und ihrer Ressourcen beizutragen, die Lebensgrundlagen in Ostafrika zu verbessern und die Erreichung der Sustainable Development Goals zu unterstützen.
Evaluierung fokussierte sich darauf, die Stärken und Schwächen des Projekts zu identifizieren und den Projektpartnern Empfehlungen im Hinblick auf eine höhere Relevanz, Effektivität, Effizienz und Nachhaltigkeit zukünftiger CAPAQUA-Projekte zu geben. Die Evaluierung analysierte zudem, die wichtigsten Einflussfaktoren für das Erreichen bzw. Nichterreichen der erwarteten Projektergebnisse und -ziele. Der Rahmen der Evaluierung bezog sich auf den Projektzeitraum von Oktober 2015 bis September 2018.
Methodisch wurden dabei durch Tiefeninterviews mit Projektmitarbeiter*innen und verschiedenen Stakeholdern, Fokusgruppendiskussionen mit Programmteilnehmer*innen und Alumni sowie Programm- und Projektdokumentationen umfangreiche qualitative und quantitative Daten erhoben. Geografischer Schwerpunkt der Evaluierung lag in Ostafrika mit Fokus auf Uganda, Kenia und Äthiopien, in denen während eines Feldbesuchs die auszuwertenden Informationen gesammelt wurden. Außerdem wurden auch die involvierten Institutionen und weitere Stakeholder in Österreich in die Datenerhebung eingebunden. | 4/2018 | 7/2018 | Dr. Stefan Silvestrini | Universität für Bodenkultur Wien (BOKU) |
Begleitende Evaluation des Projektes “Media in Libya – Stability through Structure”Leiter: Dr. Stefan Silvestrini Beschreibung Das Projekt „Media in Libya - Stability through Structure“ hatte das übergeordnete Ziel, die Einführung einer modernen Mediengesetzgebung in Libyen zu unterstützen und die Medieninstitutionen des Landes zu stärken. Darüber hinaus sollte das Projekt zu einer Stärkung von unabhängigem und professionellem Journalismus in den Provinzen Libyens beitragen. Das Projekt hatte eine Gesamtlaufzeit von insgesamt 30 Monaten und wurde von der Europäischen Kommission im Rahmen des SPRING Programms gefördert. Gesteuert und umgesetzt wurde das Projekt von der Deutsche Welle-Akademie (Abteilung Medienentwicklung, Team Afrika) in Kooperation mit dem Institute for War and Peace Reporting (IWPR). Die Maßnahmen des Projekts waren in vier Aktivitätscluster untergliedert, von denen die DW-Akademie drei und das IWPR eines bearbeitete. Das CEval evaluierte in diesem Projekt die Cluster 1 bis 3, für deren Umsetzung die DW-Akademie verantwortlich war.
Die Evaluierung des Projekts unterteilte sich in eine Basis-, eine Zwischen- und eine Abschlussevaluation zum Ende der Implementierungsphase. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (standardisierte Onlinebefragungen der Teilnehmer der Trainings und qualitative Leitfadeninterviews mit externen Experten und Verantwortlichen der DW-Akademie) durchgeführt. | 9/2014 | 6/2018 | Dr. Vera Hennefeld | Deutsche Welle-Akademie |
International Program for Development Evaluation Training (IPDET)Leiter: Dr. Stefan Silvestrini Mitarbeiter: Felix Stips, Laszlo Szentmarjay, Theresa Weippert Beschreibung Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Seit 2018 wird es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zum diesjährigen IPDET finden Sie auf der Website: https://ipdet.org/. | 5/2018 | 6/2018 | Dr. Stefan Silvestrini | Independent Evaluation Group (IEG) |
Meta-Evaluation der Evaluierungsberichte von Plan InternationalLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling, M.A. Sandra Bäthge, Dr. Susanne Johanna Väth Beschreibung Plan International arbeitet seit vielen Jahren in Afrika, Asien und Nord- und Südamerika, um Kinderrechte zu fördern und Kindern aus der Armut zu befreien. Das 1989 gegründete Deutsche Nationalbüro von Plan International beteiligt sich an der Finanzierung von Entwicklungsprojekten und -programmen sowie an der Finanzierung und Beauftragung externer Evaluationen. Plan International Deutschland beschloss, eine Meta-Evaluierung der Evaluierungsberichte aus den Jahren 2013 und 2017, die alle geographischen Regionen abdecken, durchzuführen.
Die vorrangigen Ziele der Meta-Evaluation waren die Bewertung der Stärken und Schwächen der Evaluationsberichte anhand einer Analyse der Qualität, die Identifizierung der Erfolgs- und Risikofaktoren, die ihre Qualität beeinflussen können, und das Geben von Empfehlungen. Ein besonderer Schwerpunkt in der Meta-Evaluation war auf den Einfluss der Art der Evaluierung (d.h. von wem sie koordiniert und durchgeführt wird) sowie auf die verfügbaren Ressourcen und den Zeitrahmen gelegt.
Die Meta-Evaluierung basierte auf einer Analyse der Evaluierungsberichte. Umfangreiche Analyseinstrumente wurden eingesetzt, um die Vollständigkeit der Berichte, die Validität der Befunde und die Nützlichkeit der Auswertungsberichte zu analysieren. Die Dokumentenanalyse gliederte sich in zwei Phasen. Während in der ersten Phase ("Pre-Rating") die Vollständigkeit der Evaluierungsberichte bewertet wurde, wurde in der zweiten Phase ("vertiefte Analyse") ein umfassenderes Set von Qualitätsbewertungskriterien auf eine Stichprobe von Berichten angewandt, um eine detailliertere Beurteilung der Validität der Ergebnisse und der Nützlichkeit für ihre Adressaten zu ermöglichen. | 1/2018 | 4/2018 | Dr. Stefan Silvestrini | Plan International Deutschland e.V. |
Evaluierung des Projekts „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen (Hamburg)“Leiter: Dr. Susanne Johanna Väth Mitarbeiter: M.A. Sandra Bäthge Beschreibung Plan International Deutschland e.V. engagiert sich für die Umsetzung der internationalen Mindeststandards zum Schutz von Kindern in humanitären Krisen. Das Projekt "Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen", das Plan International Deutschland e.V. zwischen Juli 2017 und Juni 2018 in zwei Flüchtlingsunterkünften in Hamburg umsetzt, zielt darauf ab, die Sicherheit der dort lebenden Kinder und Jugendlichen zu stärken, eine kinderfreundliche Umgebung zu schaffen und den Kinderschutz in den Flüchtlingsunterkünften sicherzustellen. Ziel der Maßnahmen ist es, die Risiken für Kinder und Jugendliche soweit zu verringern, dass ihr Wohl gesichert ist. Dies geschieht, indem ein positives Umfeld für Kinder und Jugendliche geschaffen wird, in dem die Kinderrechte geachtet werden.
Übergeordnetes Ziel der Evaluation ist es, das Projekt " weitestgehend bilanzierend und damit summativ zu beurteilen. Zugleich werden in der Evaluation, insbesondere angesichts der fortlaufenden Arbeit mit Kindern und Jugendlichen im Flüchtlingskontext, auch Optimierungspotentiale herausgearbeitet und Handlungsempfehlungen gegeben. Mit einem Schwerpunkt auf dem OECD/DAC-Evaluationskriterium der Effektivität wird die Evaluation aufzeigen, in welchem Umfang das Projekt die gesetzten Ziele und Ergebnisse erreichen konnte und inwiefern die durchgeführten Aktivitäten zur Erreichung der Projektzielen angemessen waren.
Aus methodischer Sicht werden ein partizipativer Evaluationsansatz sowie ein Multimethodenansatz verfolgt. Eine Kombination von unterschiedlichen Datenerhebungs- und Auswertungsmethoden wird den besonderen Erfordernissen des Evaluationsgegenstands und der Zielgruppe von Kindern und Jugendlichen Rechnung tragen. Daher wird das Evaluationsteam leitfadengestützte Experteninterviews, Fokusgruppen und kreative Verfahren zur qualitativen Datenerhebung von Kindern anwenden. | 1/2018 | 4/2018 | Dr. Susanne Johanna Väth | Plan International Deutschland e.V. |
Meta-Evaluation von 34 Evaluationsberichten von World Vision DeutschlandLeiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Tatjana Mauthofer, Dr. Susanne Johanna Väth Beschreibung Schon zum dritten Mal beauftragte World Vision Deutschland (WVD) das CEval dazu, eine Meta-Evaluation zu Evaluationsberichten von WVDs unterstützen Entwicklungsprogrammen durchzuführen. Insgesamt wurden 34 Evaluationsberichte aus den Finanzjahren 2016 und 2017 analysiert. Als Bewertungsgrundlage diente dabei ein in den vorangegangenen Meta-Evaluationen von CEval und WVD gemeinsam ausgearbeitetes Bewertungsraster, das sich zum Teil auf das international anerkannte BOND-Tool stützt. Das Raster beinhaltet die Kriterien Mitsprache und Inklusion, Transparenz, Methodik, Triangulation, Befriedigung des Informationsbedarfs, Identifizierung des Programmbeitrags, Ergebnisdarstellung sowie das neu ergänzte Kriterium der Nachhaltigkeit. Die Bewertungskriterien wurden anhand von verschiedenen Unterkriterien systematisch bewertet und schließlich in einem zweiten Schritt aggregiert und verbildlicht. Abschließend wurden Ergebnisse mit vorangegangenen Ergebnissen verglichen und erläutert. | 11/2017 | 3/2018 | M.A. Tatjana Mauthofer | World Vision Deutschland e.V. (WVD) |
Externe Evaluation des empowering people. NetworkLeiter: Dr. Susanne Johanna Väth Beschreibung Im Auftrag der Siemens Stiftung führte die CEval GmbH eine externe Evaluation des empowering People. Network durch. Das 2013 von der Siemens Stiftung ins Leben gerufene Netzwerk bringt Erfinderinnen und SozialunternehmerInnen zusammen, die mit ihren Lösungen in wesentlichen Grundversorgungsbereichen wie Gesundheit, Ernährung oder Bildung einen Beitrag zur Verbesserung der Lebensbedingungen innerhalb der jeweiligen Gemeinden leisten. Durch den empowering people. Award werden Lösungen, die ein wesentliches Problem der Grundversorgung adressieren von der Siemens Stiftung im Hinblick auf die Eignung im Entwicklungskontext und ihr Business-Potential beurteilt. Die derzeit 80 Organisationen, die sich mit best practice Ansätzen durchgesetzt haben, erhalten im Rahmen anschließender Netzwerkaktivitäten langfristige Unterstützung in den Bereichen Organisationsentwicklung, Professionalisierung und Vernetzung mit relevanten Partnern.
Im Jahr 2017/18 wurde das empowering people. Network nun erstmalig evaluiert. Die Evaluation deckt die Gesamtlaufzeit des Netzwerkes seit der Gründung im Jahr 2013 ab und dient dabei er Lernerfahrungen zur zukünftigen Netzwerk- und Strategieentwicklung. Die Evaluation des empowering people. Network überprüfte daher, welche Wirkungen die jeweiligen Module für die Netzwerkmitglieder erzielt haben und wie diese im Hinblick auf die übergeordneten Zielsetzungen zu bewerten sind. Dabei orientierte sie sich an den OECD/DAC-Kriterien und zeichnete sich durch einen partizipativen Multimethoden-Ansatz aus. Im Rahmen eines kontributionsanalytischen Untersuchungsansatzes wurden Dokumente- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Experteninterviews, Fallstudien und Fokusgruppendiskussionen) sowie quantitative Verfahren (teilstandardisierte Online-Erhebungen). Auf Grundlage der Ergebnisse wurden 'lessons learnt' und Empfehlungen zur zukünftigen Optimierung der Netzwerkaktivitäten entwickelt. | 2/2017 | 3/2018 | Dr. Susanne Johanna Väth | Siemens Stiftung |
Wirkungsstudie: Armutsminderung im ländlichen Raum durch Fairtrade, Fortsetzungsstudie 2017Leiter: Dr. Stefan Silvestrini Mitarbeiter: M.Sc. Elisabeth Schneider, Friederike von Cölln, M.A. Tatjana Mauthofer Beschreibung 2017 beauftragten Fairtrade Deutschland und die Max Havelaar Stiftung Schweiz, gemeinsam mit Fairtrade Österreich und dem Schweizer Staatssekretariat für Wirtschaft (SECO), zum zweiten Mal das Centrum für Evaluation (CEval) mit einer Studie, die darauf zielte den Beitrag des Fairen Handels (FT) zu ländlicher Entwicklung zu ermitteln. Die Studie stellt dabei eine Folgeuntersuchung zu der im Jahr 2012 veröffentlichten Studie dar und ermöglichte vor diesem Hintergrund eine längsschnittliche Bewertung der damaligen Ergebnisse und Veränderungen. Dabei umfasste die Studie dieselben Produkte (Bananen, Kakao, Kaffee, Baumwolle, Blumen und Tee), Produzententypen (Small Producer Organizations (SPO), Hired Labor (HL) und Contract Production Organizations (CPO)) sowie Länder (Peru, Ghana, Kenia und Indien) wie die Vorgängerstudie.
Welche Veränderungen in der ländlichen Entwicklung zu beobachten sind und inwieweit die FT-Zertifizierung einen Beitrag zu diesen Veränderungen leistet, stellte das zentrale Interesse dieser Folgestudie dar. Zu diesem Zweck wurde eine theoriebasierte Kontributionsanalyse durchgeführt, die sich an der FT Theory of Change sowie den COSA Nachhaltigkeitsindikatoren orientierte. Unter der Anwendung eines mixed-methods Ansatzes mit partizipativen Elementen, wurden vorrangig qualitative Primärdaten im Rahmen von Fokusgruppendiskussionen und Interviews erhoben. Die Datenerhebungen in den vier Fokusländern fand zwischen Oktober 2017 und Januar 2018 statt. | 4/2017 | 3/2018 | Dr. Stefan Silvestrini | TransFair Germany (TFG) |
Meta-Evaluation und Synthese von Evaluationsberichten der Christoffel BlindenmissionLeiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Tatjana Mauthofer, Dr. Susanne Johanna Väth Beschreibung Im Auftrag der Christoffel Blindenmission (CBM) führte CEval eine Synthese von 24 Evaluationsberichten der Jahre 2016 und 2017 durch. Mit dem Mandat in den ärmsten Regionen der Welt für eine Verbesserung der Lebensqualität von Menschen mit Behinderungen zu kämpfen, liegt der Projektfokus der CBM auf einer eingehenden Kooperation mit sowie auf der Förderung von lokalen Akteuren in Entwicklungsländern und Krisenregionen.
Im Zentrum der Evaluation stand eine eingehende Dokumentenanalyse der eingereichten Evaluationsberichte. Um die Homogenität der Daten zu gewährleisten wurde zunächst die Qualität aller Evaluationsberichte systematisch bewertet. Berichte, die gegebene Mindestqualitätsstandards erfüllten, wurden anhand eines Analyserasters, beruhend auf den Evaluationsfragen, evaluiert. Ziel war die Zusammenfassung der unabhängigen Projektevaluationen sowie der daraus resultierenden Erkenntnisse hinsichtlich der einzelnen CBM-Mandatsbereiche. Zusätzliches Instrument zur qualitativen und quantitativen Datenerhebung war eine Onlinebefragung der weltweiten Regionalbüros bezüglich der Nutzung und des Nutzwertes der Evaluationsberichte. Der Evaluationsbericht beantworte dabei Fragen die sich an den OECD-DAC Kriterien strukturierten. | 11/2017 | 2/2018 | M.Sc. Elisabeth Schneider | Christoffel-Blindenmission (CBM) |
Meta-Evaluation von Projekt- und Programmevaluationen 2015-2017Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling, Dr. Susanne Johanna Väth, M.A. Tatjana Mauthofer Beschreibung Das finnische Außenministerium beauftragte das CEval zusammen mit Particip und Indufor eine Meta-Evaluation ihrer Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit durchzuführen. Das finnische Ministerium führt regelmäßig Meta-Evaluationen durch und im Fokus dieser Meta-Evaluation standen die Evaluierungen von 2015-2017.
Zielsetzung dieser Meta-Evaluierung war zum einen die Verbesserung von Evaluierungsberichten, die Praxis des Evaluierungsmanagements und Entwicklung von Evaluierungskapazitäten und die Identifizierung möglicher Lücken in der finnischen Evaluierungspraxis. Darüber hinaus standen auch die Inhalte der Evaluationsberichte im Fokus, z. B. wurden das Erreichen der DAC-Kriterien und weitere finnische Querschnittsthemen wie Gleichberechtigung von Mann und Frau oder nachhaltige Klimapolitik evaluiert.
Methodisch stand dabei eine Dokumentenanalyse der Evaluierungsberichte im Mittelpunkt der Meta-Bewertung, um zunächst die Qualität und anschließend den Inhalt der Evaluierungsberichte zu bewerten. Verschiedene Bewertungsinstrumente wurden entwickelt, um einen einfach durchführbaren und verlässlichen Bewertungsprozess zu ermöglichen. Im Rahmen der Qualitätsprüfung wurden die Evaluierungsberichte auf das Vorhandensein von Informationen überprüft, die für das Verständnis der Evaluierung (Gegenstand, Prozess und Ergebnisse) wesentlich sind. Zusätzlich wurden methodische Anforderungen wie z. B. die Daten- und Methodentriangulation oder der logische Fluss von den Daten über Ergebnisse und Schlussfolgerungen zu den Empfehlungen bewertet. Ein weiteres Tool wurde für die inhaltliche Analyse genutzt, bei der die Ergebnisse im Detail hinsichtlich der verschiedenen Bewertungskriterien sowie Schlussfolgerungen und Empfehlungen semi-standardisiert analysiert wurden. | 10/2017 | 2/2018 | Dr. Stefan Silvestrini | Finnisches Außenministerium |
Wirkungsmonitoring im Rahmen der TZ-Maßnahme und Wirkungsevaluation auf systemischer Ebene zum Beitrag der Maßnahme zur Verzahnung von EZ und AWFLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: M.Sc. Elisabeth Schneider Kooperationspartner: iSPO Institut - Institut für Sozialforschung, Praxisberatung und Organisationsentwicklung GmbH Beschreibung Die Herausforderungen des Klimawandels und des kontinuierlichen Rückgangs fossiler Brennstoffvorräte treffen die verschiedenen Regionen der Erde in unterschiedlicher Weise. Die Staaten haben sich dabei ambitionierte Ziele gesetzt: Mexiko möchte z.B. bis zum Jahr 2024 mehr als ein Drittel seiner Energieproduktion durch erneuerbare Energien erzeugen. Trotz aller Bemühungen ist der Umweltschutz bisher im nördlichen Lateinamerika noch nicht sonderlich erfolgreich gewesen. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzt das Projekt "Kooperationsplattform Lateinamerika Nord (KOPLAN)" an und nimmt vor allem zentrale Defizite in den Blick, die internationalen Investitionen und Kooperationen entgegenstehen. Diese sind vor allem fehlende Fachkompetenzen in der mittelständigen Wirtschaft im Bereich moderner Umwelttechnologien.
Im Rahmen des gegenwärtigen Auftrags unterstützt das CEval gemeinsam mit dem iSPO-Institut das Vorhaben in den Komponenten Wirkungsmonitoring und Evaluation. Ausgangspunkt eines wirkungsorientierten Monitoring ist in aller Regel das Zielsystem inkl. Zielerreichungsindikatoren und relevanter Annahmen der betreffenden Maßnahme. Veränderungen auf anderen Ebenenen, insbesondere im Rahmen von Kooperationsmechanismen, werden dagegen nicht direkt oder nur am Rande im Rahmen des Monitoring thematisiert. Diese Entwicklung von Kooperationssystemen oder aber die Eignung der diesbezüglichen Förderinstrumente werden darüber hinaus im Rahmen der Komponente Evaluation in den Blick genommen.
Im Ergebnis sollen im Rahmen dieses Auftrags neben dem Monitoring und der Erfassung von Wirkungen der Einzelmaßnahmen Erkenntnisse zum Beitrag KOPLANS zur besseren Verzahnung von EZ und AWZ sowie von öffentlichem und privatem Sektor aus systemischer Ebene generiert werden. | 3/2017 | 2/2018 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) |
Formative Evaluation der Out-of-School-Children Initiative (OOSCI)Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling, Dr. Susanne Johanna Väth Beschreibung Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.
Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.
Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich. | 3/2017 | 1/2018 | Dr. Stefan Silvestrini | United Nations International Children's Fund (UNICEF) |
Evaluation der Webseite www.bne-portal.deLeiter: Dr. Stefan Silvestrini Beschreibung Die Deutsche UNESCO-Kommission ist eine Mittlerorganisation im Bereich der multilateralen Kultur-, Bildungs-, Wissenschafts- und Medienpolitik. Mit der Webseite www.bne-portal.de unterstützt die Deutsche UNESCO-Kommission das Global Action Programme on Education for Sustainable Development (dt. Weltaktionsprogramm Bildung für nachhaltige Entwicklung). Die Webseite möchte die inhaltliche Einstiegsplattform für (künftige) nationale BNE-Akteure sein. Nach ihrem Relaunch im Jahr 2016 und einer Laufzeit von einem Jahr soll die Webseite www.bne-portal.de durch die CEval GmbH evaluiert werden.
Die Evaluation sollte die Website hinsichtlich folgender Aspekte bewerten: (a) Verständlichkeit, fachliche Relevanz und Attraktivität der bereitgestellten Informationen, (b) Attraktivität von Design und Aufbau, (c) Auffindbarkeit von Informationen, (d) Praxisrelevanz der Informationen, (e) Eignung der Kontaktmöglichkeiten, (f) Erfüllung von Nutzererwartungen, (g) Nutzungsintensität, (h) Bekanntheisgrad/Attraktivität der angebotenen Lehrmaterialsammlung und (i) Bekanntheisgrad/Attraktivität der angebotenen Akteursdatenbank.
Die Evaluation basierte auf einer Online-Nutzerbefragung und quantitativer Datenwuswertung. | 8/2017 | 12/2017 | Dr. Vera Hennefeld | Deutsche UNESCO-Kommission (DUK) |
Begleitung und Beratung Wirkungsmessung/Baseline Update Länderprogramm BangladeschLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth Beschreibung Das Länderprogramm Bangladesch 2013-1016 von HEKS/EPER hat zum Ziel die soziale Inklusion von marginalisierten und entrechteten Minderheiten im Nordwesten Bangladeschs zu fördern. Die unterschiedlichen Interventionen haben vor allem urbane und rurale Dalit und Flachland-Adibashi Gemeinden zur Zielgruppe, die unter komplexen Formen von Diskriminierung leiden. Der Ausschluss der beiden Minderheiten ist ein entscheidender Grund für Konflikte zwischen Minderheiten und der Mainstream-Gesellschaft. Mit einem Menschenrechtsansatz und einem Value-Chain Ansatz will HEKS die soziale Inklusion der beiden Gruppen fördern.
HEKS will die Wirkungen aus der letzten Projektphase messen und gleichzeitig valide Baselinedaten für die kommende Programmphase erheben. Das CEval steht HEKS dabei unterstützend zur Seite. Die Wirkung des Programms sollen mit Hilfe von Haushaltsbefragungen und der qualitativen Methode der contribution analysis erfasst werden. CEval unterstützt HEKS dabei hauptsächlich bei der Vorbereitung für die quantitative Datenerhebung und bei der quantitativen Datenauswertung. Das CEval bereitet die Sampling Strategie vor, hilft bei der Entwicklung der Erhebungsinstrumente und bei der statistischen Auswertung der Daten. Bei letzterem gilt es insbesondere die zuvor erhobenen Daten mit den neu erhobenen Daten so zu kombinieren um valide Schlüsse aus der statistischen Analyse ziehen zu können. | 5/2016 | 12/2017 | Dr. Stefan Silvestrini | Hilfswerk der Evangelischen Kirchen Schweiz (HEKS) |
Beratungstätigkeit des ASEAN Sekretariats zur Ausarbeitung eines methodischen und operativen Rahmenkonzepts zum systematischen WirkungsmonitoringLeiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Tatjana Mauthofer Beschreibung CEval wurde von der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) beauftragt im Rahmen des ‘ASEAN Sekretariat Post 2015 – Organisationsentwicklung und Capacity Development‘ Projekts das ASEAN Sekretariat bei der Ausarbeitung eines methodischen und operativen Rahmenkonzepts zum systematischen Wirkungsmonitoring zu beraten.
Dabei galt es vor allem die Evaluierungsprozesse des ASEAN-Sekretariats zu untersuchen und fachliche Unterstützung für die Neudefinierung des Wirkungsmonitorings des ASEAN-Sekretariats, mit Schwerpunkt aurf ASEAN-Kooperationsprojekte, zu leisten.
Im Rahmen der Beratung wurden eine Reihe von Interviews mit den verantwortlichen M&E-Abteilungen sowie ein dreitägiges Methodentraining durchgeführt. Dabei wurden nicht nur die M&E-Kapazitäten von Mitarbeitern gestärkt, sondern auch ein gemeinsames Diskussionsforum für verschiedene Abteilungen geschaffen. Dies war besonders wichtig um Meinungen und Erfahrungen auszutauschen und Akzeptanz gegenüber dem neuen PMEFs zu schaffen. Der Abschlussbericht fasst wichtige Erkenntnisse zusammen, erörtert Best Practices anderer Akteure und beschreibt Konzepte, mögliche Mechanismen und Empfehlungen zur Implementierung eines funktionalen PMEFs. | 4/2017 | 12/2017 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) |
Wissenschaftliche Beratung der Stabsstelle Evaluierung der GIZ zur Entwicklung aggregierter Wirkungsindikatoren.Leiter: Dr. Stefan Silvestrini Mitarbeiter: Prof. Dr. Reinhard Stockmann, Dr. Wolfgang Meyer Beschreibung Die Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH trägt auf vielfältige Weise zur Lösung regionaler und globaler Probleme bei. Dazu gehören u.a. die Eindämmung der Folgen des Klimawandels, die Bekämpfung von Armut und Hunger oder die Schaffung eines gleichberechtigten Zugangs zu Bildung und Beschäftigung von Männern und Frauen. Für die Erfassung der durch ihre Vorhaben erbrachten Beiträge verfügt die GIZ über eine Reihe von Instrumenten und Verfahren zur Wirkungsmessung und -bewertung. Diese Instrumente und Verfahren sind jedoch im Wesentlichen auf die Berichterstattung an das BMZ ausgerichtet sowie darauf, Erkenntnisse zur Verbesserung einzelner Interventionen (PEVs) oder zur Weiterentwicklung der strategischen Ausrichtung der GIZ im jeweiligen Sektor (USEs) zu generieren. Auf der Ebene der Gesamtorganisation fehlt es jedoch bislang an vergleichbaren Ansätzen zur Darstellung der Beiträge der GIZ insgesamt, bspw. gegenüber der Öffentlichkeit oder dem Parlament (insb. AWZ).
Um die GIZ auch auf dieser Ebene zukünftig auskunftsfähig zu machen, initiierte die Stabsstelle Monitoring und Evaluierung 2014 einen Prozess zur Entwicklung von aggregierten Indikatoren, die Aussagen über den gemeinsamen Beitrag eines möglichst großen Teils der Vorhaben in den verschiedenen Sektoren, in denen die GIZ aktiv ist, erlauben. | 1/2017 | 12/2017 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
Durchführung einer Evaluation des Internationalen Klimaschutzstipendien-ProgrammsLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth Beschreibung Im Jahr 2009 hat die Alexander von Humboldt-Stiftung (AvH) das Internationale Klimaschutz-Programm (IKS) zur Förderung begabter Nachwuchsführungskräfte aus außereuropäischen Schwellen- und Entwicklungsländern initiiert. Zwischen 2010 und 2015 wurden 100 Stipendiat_innen aus dem wissenschaftlichen und nicht-wissenschaftlichen Bereich gefördert.
Zielgruppen des IKS sind Nachwuchswissenschaftler_innen und akademisch ausgebildete Nachwuchsführungskräfte aus Industrie und Politik aus Entwicklungs- und Schwellenländern. Diese Zielgruppen sind nämlich beteiligt an Gestaltung/Umsetzung von (1) Klimaschutzmaßnahmen, (2) Maßnahmen des klimarelevanten Ressourcenschutzes und (3) Maßnahmen zur Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Ziel des IKS ist die langfristige individuelle Begleitung der ausgewählten Stipendiat_innen: (1) Zwölfmonatiges Stipendium zur Durchführung eines selbstgewählten forschungsnahen Projekts bei einem/r selbstausgesuchten/r Gastgeber_in in Deutschland. (2) Alumni-Förderung (u.a. Finanzierung weiterer Deutschlandaufenthalte, Einladung Gastgeber_innen an Heimatinstitutionen, Einbindung in AvH-Netzwerk).
Die Evaluation des IKS prüfte, inwiefern die Wirkungen des Programms einen Beitrag leisten zu (1) Klimaschutz und klimarelevantem Ressourcenschutz und (2) Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Im Mittelpunkt stehen die Analyse der Zielerreichung auf Ebene der Programmziele sowie die Analyse bereits überprüfbarer Programmwirkungen.
Die Evaluation des IKS orientierte sich an den DAC-Kriterien. Sie zeichnete sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So wurden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews, Fallstudien) sowie quantitativen Verfahren (teilstandardisierte Online-Erhebungen).
Evaluationsbericht | 12/2016 | 10/2017 | Dr. Vera Hennefeld | Alexander von Humboldt-Stiftung (AvH) |
Mid-Term Evaluation of the “ASEAN Secretariat Post 2015 – Institutional Strengthening and Capacity Development” project (Jakarta, Indonesien)Leiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Tatjana Mauthofer Beschreibung Das ASEAN Sekretariat (ASEC) und die Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) implementieren gemeinsam das vom Auswärtigen Amt der Bundesrepublik Deutschland geförderte Vorhaben „ASEAN Sekretariat Post 2015 – Organisationsentwicklung und Capacity Development“. Die laufende Projektphase begann im Juni 2016 und unterstützt, aufbauend auf vorherige Capacity Development Aktivitäten, die Professionalisierung der strategischen Verwaltungsabteilungen und Stabsstellen des ASEAN-Sekretariats. Zudem arbeitet es mit Fachabteilungen zusammen, die zu einer Stärkung der ASEAN-Wirtschaftsgemeinschaft beitragen. Um den aktuellen Fortschritt der Projektphase zu erfassen, wurde das CEval beauftragt eine Zwischenevaluierung anhand der OECD-DAC Kriterien und erweiterten, projektspezifischen Leitfragen durchzuführen. Unter Berücksichtigung des institutionellen Rahmens des ASEC und der Vielfalt an Akteuren, wurde das Design der Kontributionsanalyse und ein Multi-Methoden-Ansatz gewählt.
Dazu wurden leitfadengestützte Interviews mit Schlüsselfiguren und teilstandardisierte Onlinebefragungen der Workshop Teilnehmer durchgeführt. Projektdokumentationen und Monitoringdaten ergänzen empirische Daten und ermöglichen Triangulation. Ziel der Zwischenevaluation ist es Einblicke in aktuellen Fortschritt des Projekts zu erhalten und Lernen für weitere Projektaktivitäten und zukünftige Phasen zu ermöglichen. | 8/2017 | 10/2017 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) |
Evaluierung und Weiterentwicklung der deutschen Anpassungsstrategie an den KlimawandelLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Hansjörg Gaus Kooperationspartner: Adelphi Research gGmbH Beschreibung Die Deutsche Strategie zur Anpassung an den Klimawandel (DAS) und der dazugehörige Aktionsplan Anpassung sind die Hauptpfeiler der deutschen Anpassungspolitik. Langfristig verfolgt die Bundesregierung das Ziel, die Verwundbarkeit von Wirtschaft, Umwelt und Gesellschaft gegenüber den Folgen des Klimawandels zu reduzieren. Um dies zu erreichen, wurde in den vergangenen Jahren bereits eine Vielzahl konkreter Maßnahmen auf unterschiedlichen Ebenen umgesetzt. Für das Jahr 2019 ist geplant, die DAS sowie die mit ihr verbundenen strategischen Elemente in einem zweiten Fortschrittsbericht zu evaluieren.
Um die Evaluierung des DAS-Prozesses fachlich vorzubereiten, unterstützte die CEval GmbH adelphi (Berlin) bei der Entwicklung und Erprobung einer passenden Methodik. Allerdings gestaltet sich eine solche Evaluierung mitunter als schwierig: zum einen ist die Bestimmung kausaler Ursache-Wirkungs-Zusammenhänge zwischen Anpassungsaktivitäten und verringerter Vulnerabilität nicht unproblematisch. Zum anderen stellt die Entwicklung quantitativer und messbarer Ziele eine herausfordernde Aufgabe dar. Die entwickelte Methodik berücksichtigte daher diese und weitere Herausforderungen bei der Evaluation von Anpassungsstrategien und erarbeitete entsprechende Lösungen.
Zu diesem Zweck wurden zunächst bestehende Methoden zur Evaluation nationaler Anpassungs- und Nachhaltigkeitsstrategien analysiert und bewertet. Im Zuge dessen wurde außerdem geprüft, inwiefern sich einzelne Aspekte sinnvoll auf die Evaluation des DAS-Prozesses übertragen lassen. Die Ergebnisse der Auswertung und die daraus abgeleiteten Methodenvorschläge wurden anschließend im Rahmen mehrerer Workshops mit relevanten politischen Akteuren diskutiert. Zum Abschluss wurde die Methodik in einem Pilotverfahren getestet und die daraus gewonnenen Erkenntnisse in die abschließende Finalisierung der Evaluationsmethode einbezogen. | 10/2015 | 9/2017 | Dr. Stefan Silvestrini | Umweltbundesamt (UBA) |
Evaluation des Projektes "Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)" und des "Förderprogramms für Kommunalen Klimaschutz und Klimaanpassungsprojekte (FKKP)"Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling Beschreibung Die Servicestelle Kommunen in der Einen Welt (SKEW) unter dem Dach von Engagement Global ist das Kompetenzzentrum der kommunalen Entwicklungspolitik in Deutschland. Seit 2001 bietet sie eine Dialogplattform zum kommunalen Erfahrungsaustausch und fördert kommunale Akteure in ihrem entwicklungsbezogenen Engagement durch Qualifizierungs-, Informations- und Beratungsangebote, die Umsetzung von Modellprojekten sowie Hilfestellungen für finanzielle Förderung.
Zum Leistungsspektrum der SKEW zählen unter anderem die Vorhaben "Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)" und das "Förderprogramm für kommunale Klimaschutz- und Klimaanpassungsprojekte (FKKP)". Während durch Nakopa bestehende und neue Partnerschaften zwischen deutschen Kommunen und Kommunen des globalen Südens zur Planung und Unterstützung von gemeinsamen Projekten in ausgewählten entwicklungspolitisch relevanten Themenfeldern gefördert werden, zielt die Förderung durch FKKP ausschließlich auf die Förderung von Maßnahmen zum Klimaschutz und zur Anpassung an den Klimawandel.
Nach einem ersten dreijährigen Projektzyklus sollen diese beiden Vorhaben nun sowohl hinsichtlich prozessualer Aspekte der Projektadministration als auch herbeigeführter Wirkungen der geförderten Projekte sowie der Förderangebote Nakopa und FKKP evaluiert werden. Zur Beantwortung der an den OECD-DAC Evaluationskriterien ausgerichteten Leitfragen wird ein auf dokumentarischen und empirischen Daten beruhender kontributionsanalytischer Untersuchungsansatz gewählt. Grundlage der Untersuchen sind entsprechend sowohl Monitoringdaten und Projektdokumentation als auch eigens, mittels leitfadengestützter Intensivinterviews sowie teilstandardisierter Onlinebefragungen der teilnehmenden Kommunen, erhobene Daten. | 12/2016 | 9/2017 | Dr. Stefan Silvestrini | Engagement Global Service für Entwicklungsinitiativen gGmbH |
Assessing the Impacts of Multinational Corporations on Global Development and Value Creation (Global Value)Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Hansjörg Gaus Beschreibung Die Bedeutung Multinationaler Unternehmen für die globale wirtschaftliche und soziale Entwicklung wird kontrovers diskutiert. Durch ihre Investitionen sind sie ein wichtiger Treiber wirtschaftlichen Wachstums, stellen Arbeitsplätze zur Verfügung und erzeugen dadurch Einkommen. Außerdem tragen sie durch die Bezahlung von Steuern zur Bereitstellung von öffentlichen Dienstleistungen bei. Gleichzeitig wird ihnen vorgeworfen, ausbeuterische Arbeitsbedingungen und Menschenrechtsverletzungen zu fördern, Umweltschäden zu verursachen und Korruption zu verbreiten. Vor allem in Entwicklungsländern werde es versäumt, verantwortungsvolle Geschäftspraktiken zu etablieren.
Im Rahmen des GLOBAL VALUE Projekts wurde ein innovatives Rahmenkonzept entwickelt, um die Auswirkungen multinationaler Unternehmen hinsichtlich nachhaltiger Entwicklung, verantwortungsvoller Arbeitsbedingungen, der Achtung von Menschenrechten und Korruptionsbekämpfung zu erfassen. Dazu wurden institutionelle Strukturen und Konzepte verantwortungsvoller Geschäftspraktiken untersucht, die Komplementarität zwischen öffentlichem und privatwirtschaftlichem Engagement bewertet sowie Empfehlungen für Entscheidungsträger in Wirtschaft, Politik und Nichtregierungsorganisationen erarbeitet.
Das Projekt wurde von verschiedenen europäischen Universitäten und zivilgesellschaftlichen Organisationen sowie Partnern der Internationalen Zusammenarbeit durchgeführt. Ein zu erarbeitendes Toolkit zur Wirkungsuntersuchung in den o.g. Bereichen wurde an führenden multinationalen Unternehmen (BATA (Bekleidung, Bangladesch), OLAM (Nahrungsmittel, Tansania)) getestet.
Die Hauptaufgabe des CEval bestand darin, einen Beitrag zur Vorbereitung und Entwicklung des Toolkits und des Rahmenkonzepts zu leisten, welches auf den Millennium Development Goals sowie den nachfolgenden Sustainable Development Goals, Menschenrechten, Gender & Diversity sowie Korruptionsbekämpfung und Transparenz basiert und Managementansätze wie Supply Chain Management, Life Cycle Analysis und Base-of-Pyramid sowie verantwortungsvolle Geschäftspraktiken, Wettbewerb und Komplementarität mit öffentlicher Entwicklungshilfe berücksichtigt. Außerdem wurden zwei Fallstudien zur Komplementarität von Aktivitäten Multinationaler Unternehmen mit öffentlicher Entwicklungshilfe durchgeführt. | 1/2014 | 6/2017 | Dr. Wolfgang Meyer | Europäische Union (EU) |
Evaluierung der §§20a und b PolG (Polizeigesetz) NRWLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling Beschreibung Gegenstand dieses Projekts war die wissenschaftliche Begleitung der Evaluierung der §§ 20a und b des Polizeigesetzes Nordrhein-Westfalen (PolG NRW), welche am 01. Juli 2013 in Kraft traten. Sie wurden eingeführt zur Neuregelung des landesrechtlichen Auskunftsanspruchs der Polizei über Telekommunikations- und Telemediendaten und der Datenerhebung mit eigenen technischen Mitteln. Im Gesetz wurde verankert, dass die Auswirkungen dieser Vorschrift und die praktische Anwendung (...) nach einem Erfahrungszeitraum von drei Jahren durch die Landesregierung unter Mitwirkung einer oder eines unabhängigen wissenschaftlichen Sachverständigen geprüft (werden)(§20a Absatz 7 Satz 1).
Diese gesetzliche Neuregelung betrifft eine in der Politik und Öffentlichkeit immer wieder intensiv diskutierte Frage. So ist es einerseits Aufgabe der Polizei (nicht nur in) NRW, die innere Sicherheit im Land zu gewährleisten und sie ist daher mit allen Befugnissen auszustatten, die sie zur Erfüllung dieser Aufgabe benötigt. Andererseits argumentieren Datenschützer, dass gerade die Telekommunikations- und Telemediendaten einen sehr sensiblen Bereich der individuellen Privatsphäre darstellen, des es so weitreichend wie möglich zu schützen gilt. Aus diesem Grund sollte durch die neuen Normen ein klarer Handlungsrahmen geschaffen werden, der sowohl Polizei als auch Dienstanbietern im Bereich Telekommunikation Rechtssicherheit verschafft. Das CEval war im Rahmen der Evaluation insbesondere für die Konkretisierung und Operationalisierung der leitenden Fragestellungen, die Identifizierung geeigneter Indikatoren und die Entwicklung eines geeigneten Evaluationsdesigns und der Erhebungsinstrumente zuständig und unterstützte bei der Datenerhebung. Auch die Analyse der Daten und die Berichtsfertigung erfolgten unter der Federführung des CEval.
Methodisch wurden sowohl leitfadengestützte Interviews, Fokusgruppendiskussionen als auch standardisierte Befragungen durchgeführt, um so Aussagen über durch die Einführung des Gesetzes bewirkte Veränderungen in den Prozessabläufen und die Auswirkungen der Neuregelung zu generieren und Empfehlungen für die Weiterentwicklung des Gesetzes abzuleiten. | 6/2016 | 5/2017 | Dr. Vera Hennefeld | Ministerium für Inneres und Kommunales des Landes NRW |
Evaluation der "Richtlinie über die Belohnung erfolgreicher Präventionsarbeit bei den Mitgliedern der Unfallkasse Saarland"Leiter: Dr. Susanne Johanna Väth Beschreibung Als Versicherungsträger der gesetzlichen Unfallversicherung für den öffentlichen Dienst setzt sich die Unfallkasse des Saarlandes (UKS) für die Verhütung von Berufskrankheiten, Gesundheitsgefahren am Arbeitsplatz und Arbeitsunfällen ein. Ein wichtiger Bestandteil der Präventionsarbeit besteht dabei in der Vergabe einer Prämie an Mitglieder, die den Arbeits- und Gesundheitsschutz erfolgreich in ihre betriebliche Organisation einbinden konnten und somit auf besonders wenige Aufwendungen durch die UKS angewiesen waren. Mit der zweckgebundenen Prämie werden nicht nur Bemühungen zum Gesundheits- und Arbeitsschutz honoriert, sondern auch Anreize zur Verbesserung der Präventionsarbeit gesetzt.
Im Rahmen der Überprüfung ihres Prämiensystems hat die UKS das CEval mit der Evaluation der Richtlinie über die Belohnung erfolgreicher Präventionsarbeit bei ihren Mitgliedern beauftragt. Ziel des Beratungsprojekts ist die Überarbeitung der kennzahlenbasierten Formel zur Ausschüttung innerhalb der Prämienklasse 1, die die 52 Städte und Kommunen des Saarlandes umfasst. | 9/2016 | 3/2017 | Dr. Susanne Johanna Väth | Unfallkasse des Saarlandes (UKS) |
Weiterentwicklung des Monitoring und Berichtssystems zum Aktionsplan "Inklusion von Menschen mit Behinderungen" in der deutschen entwicklungspolitischen ZusammenarbeitLeiter: Dr. Susanne Johanna Väth Beschreibung Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hat im Februar 2013 zur Umsetzung der Verpflichtungen, die sich aus Artikel 32 der Konvention über die Rechte von Menschen mit Behinderungen (MmB) der Vereinten Nationen ergeben, den Aktionsplan zur Inklusion von MmB veröffentlicht. Dieser gibt die zentralen Leitlinien und strategischen Ziele der Bundesrepublik Deutschland für die inklusive Gestaltung ihrer entwicklungspolitischen Zusammenarbeit vor.
Zur Fortschrittsbewertung und zur Steuerung der im Rahmen des Aktionsplans durchgeführten Maßnahmen bedarf es eines adäquaten Monitoringsystems und Berichtswesens für dessen Konzeption methodisches Fachwissen notwendig ist. Dementsprechend wurde das Centrum für Evaluation (CEval) beauftragt das Sektorvorhaben "Inklusion von Menschen mit Behinderungen" der deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) und das Referat 300 des BMZ bei der Erstellung eines Monitoring - und Analyserahmens zu unterstützen. | 10/2014 | 3/2017 | Dr. Susanne Johanna Väth | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ), Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
Programmevaluation "Stärkung der regionalen Integration und Zusammenarbeit auf dem Gebiet der Qualitätsinfrastruktur (AI) in SAARC"Leiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Sandra Bäthge Beschreibung Das Ziel des Regionalvorhabens in SAARC (South Asian Association for Regional Cooperation) der die Länder Indien, Pakistan, Bangladesch, Nepal, Buthan, die Malediven, Afghanistan und Sri Lanka angehören, ist es technische Handelshemmnisse abzubauen. Um dieses Ziel zu erreichen, fördert die PTB mit ihren Maßnahmen innerhalb dieses Vorhabens gezielt die Zusammenarbeit der SAARC Mitglieder im Bereich Metrologie, Akkreditierung und Standardisierung. Zur Zielgruppe gehören nationale QI Institutionen sowie Ministerien und Wirtschaftsverbände mit denen u.a. technische Trainings- oder bewusstseinsbildende Maßnahmen durchgeführt wurden.
Für die Evaluation wurden sowohl qualitative als auch quantitative Methoden genutzt (mixed method design). So wurde nebst Dokumentenanalyse und Leitfaden gestützten Interviews mit Vertretern der Zielgruppen aus allen SAARC Ländern während einer zweiwöchigen Feldphase in Bangladesch, Buthan und Indien, auch eine standardisierte Online Befragung ehemaliger Trainingsteilnehmer durchgeführt.
Das Ziel der Evaluation ist es, mit Hilfe statistischer Daten- und qualitativer Inhaltsanalyse empirisch gestützte Aussagen zu Relevanz, Effektivität, Effizienz, Impact und Nachhaltigkeit (DAC-Kriterien)des Projektes zu machen. Die Ergebnisse werden zur weiteren Entwicklung dieses, sowie weiterer Projekte der PTB (in der Region)genutzt. Die Evaluationsergebnisse werden außerdem die Entscheidung über eine weitere Förderphase und eventuelle Änderungen in der Projektplanung beeinflussen. | 9/2016 | 2/2017 | Dr. Stefan Silvestrini | Physikalisch-Technische Bundesanstalt (PTB) |
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Vera Hennefeld, M.A. Sandra Bäthge Beschreibung Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks.
Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das Centrum für Evaluation (CEval) zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im fünften Programmdurchlauf 2015-2016 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Ergänzend dazu wurde eine Verbleibstudie der ersten vier Förderjahrgänge realisiert. Methodisch stützte sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten; zur Datenerhebung im Rahmen der Verbleibstudie wurden die bislang geförderten Mentees ebenfalls online befragt. | 6/2015 | 12/2016 | Dr. Vera Hennefeld | Cusanuswerk - Bischöfliche Studienförderung |
Externe Evaluation des Netherlands Fellowship Programme (NFP II) und der Netherlands Initiative for Capacity in Higher Education (NICHE II)Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling Beschreibung Im Auftrag des niederländischen Außenministeriums (MFA) führte das CEval eine externe Evaluation des 'Dutch Fellowship Programme' (NFP II) und der 'Netherlands Initiative for Capacity Development in Higher Education' (NICHE II) durch. Diese Programme, die vom MFA finanziert und von der niederländischen Organisation für internationale Zusammenarbeit in der Hochschulbildung, 'EP-Nuffic' verwaltet werden, fördern die Entwicklung von Kapazitäten im Bereich der Hochschulbildung in Partnerländern der niederländischen Entwicklungszusammenarbeit.
Hauptziel von NFP und NICHE ist es, den quantitativen und qualitativen Mangel an qualifiziertem Fachpersonal in Entwicklungsländern zu reduzieren und zum Aufbau nachhaltiger Kapazitäten im Rahmen der Armutsreduzierung beizutragen. Unter NFP werden Stipendien an Berufstätige vergeben, damit diese an Schulungen und Aufbaustudiengängen in den Niederlanden teilnehmen können. NICHE zielt auf die Stärkung institutionelle Kapazitäten zur Verbesserung der Qualität, Relevanz und Gender-Sensibilität der postsekundären Ausbildung in den NICHE-Partnerländern.
Die Evaluation deckte den Umsetzungszeitraum der beiden Programme von 2002 bis 2015 ab, wobei der Fokus auf der letzten Projektphase seit 2012 lag, die sich durch eine besondere Ausrichtung der Programme auf Wirtschaftsdiplomatie und eine stärkere Angleichung an die vier Schwerpunktthemen der niederländischen Entwicklungsstrategie (Wasser, sexuelle und reproduktive Gesundheit und Rechte, Sicherheit und Rechtsstaatlichkeit und Nahrungsmittelsicherheit) auszeichnete. Die Evaluation diente dabei insbesondere zur Rechenschaftslegung über die hierfür von den Niederlanden bereitgestellten Finanzmittel sowie zur Generierung von Lernerfahrungen zur zukünftigen Programm- und Strategieentwicklung.
Im Rahmen der Evaluation wurden beide Programme gemäß der OECD/DAC-Kriterien hinsichtlich ihrer Relevanz, Effizienz, Effektivität, Wirkung und Nachhaltigkeit bewertet. Auf Grundlage der Ergebnisse wurden Empfehlungen zur zukünftigen Optimierung der Programme entwickelt. Die Evaluation wurde in Zusammenarbeit mit ACE Europe, einem belgischen Beratungsunternehmen, umgesetzt. | 8/2016 | 12/2016 | Dr. Stefan Silvestrini | Niederländisches Außenministerium (MFA) |
Evaluation der Fördertätigkeit der Stiftung Umwelt und Entwicklung Nordrhein-WestfalenLeiter: Dr. Stefan Silvestrini Beschreibung Seit ihrer Gründung im Jahr 2001 fördert die Stiftung Umwelt und Entwicklung Nordrhein-Westfalen die vornehmlich ehrenamtliche umwelt- und entwicklungspolitische Arbeit zivilgesellschaftlicher Gruppen. Ziel der Stiftungsarbeit ist es, die umwelt- und entwicklungspolitische Arbeit in Nordrhein-Westfalen (NRW) zu unterstützen, um diese Arbeit im Bewusstsein und im praktischen Engagement der Bevölkerung dauerhaft und auf der Höhe der Zeit zu etablieren.
Hierfür wurden in NRW bis zum Evaluationszeitpunkt etwa 1.100 Vorhaben gemeinnütziger Träger mit einem Volumen von 47,5 Mio. Euro unterstützt. Hinzu kommen Eigenprojekte der Stiftung, die durch diese operativen Tätigkeiten und ihre Öffentlichkeitsarbeit ebenfalls die Umsetzung der Agenda 21 der UN-Konferenz für Umwelt und Entwicklung von Rio de Janeiro im Jahr 1994 und die sich daran anschließenden Prozesse voranbringen möchte. Im Rahmen der Evaluation wurden die Ergebnisse und Wirkungen der Förderaktivitäten der Stiftung erfasst und bewertet und Erkenntnisse über mögliche hemmende und/oder fördernde Faktoren in der Förderarbeit der Stiftung in Bezug auf die Stiftungsziele generiert.
Die Datengewinnung basierte auf einem mixed-methods-Ansatz, d.h. es erfolgte eine vertiefende Analyse bereits vorhandener Dokumente und Daten der Stiftung und von geförderten Projekten. Zudem wurden im Rahmen von qualitativen Erhebungen (leitfadengestützte Einzel- und Gruppeninterviews) und einer quantitativen Befragung der laufenden und abgeschlossenen Projekte Primärdaten zur Zielerreichung und Wirksamkeit der Fördertätigkeit der Stiftung erhoben und ausgewertet. Auf Basis dieser Erkenntnisse wurden schließlich Empfehlungen zu Schwerpunktsetzungen der Stiftung hinsichtlich Inhalten, Akteuren, Zielgruppen und die angewandten Methoden und Formate abgeleitet. | 1/2016 | 11/2016 | Dr. Vera Hennefeld | Stiftung Umwelt und Entwicklung Nordrhein-Westfalen |
Evaluation der Initiative „Schulen – Partner der Zukunft“ (PASCH)Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Clemens Fell Beschreibung Die im Jahr 2008 ins Leben gerufene Initiative „Schulen – Partner der Zukunft“ (PASCH) gehört zu den zentralen Initiativen der Auswärtigen Kultur- und Bildungspolitik der aktuellen Legislaturperiode. PASCH ist ein weltweites Netzwerk von derzeit ca. 1800 Partnerschulen mit hoher Deutschlandbindung, an denen verstärkt Deutsch unterrichtet wird. Die Initiative bündelt breit gefächerte Maßnahmen, die dazu beitragen sollen, lebendige, langfristige Bindungen zu Deutschland aufzubauen und die Schulen, ihre Lehrkräfte sowie Schülerinnen und Schüler zum Austausch und zur Zusammenarbeit anzuregen. PASCH wird vom Auswärtigen Amt koordiniert und gemeinsam mit der Zentralstelle für das Auslandsschulwesen (ZfA), dem Goethe-Institut (GI), dem Pädagogischen Austauschdienst (PAD), der Kultusministerkonferenz (KMK) und dem Deutschen Akademischen Austauschdienst (DAAD) umgesetzt.
Im Rahmen der Evaluation wurde PASCH hinsichtlich Relevanz, Effizienz, Effektivität, Wirksamkeit (Impact) und Nachhaltigkeit überprüft. Dabei wurde auch untersucht, inwiefern sich die bestehenden Angebote, Prozesse und Strukturen zukünftig zur Zielerreichung eignen. Auf Basis der Ergebnisse wurden Empfehlungen zur Optimierung der Maßnahmen, Prozesse und Strukturen und zur Schaffung von Synergien abgeleitet.
Die Evaluation fand in zwei Phasen statt: In der ersten Phase wurden die Dokumentenanalysen sowie persönliche und telefonische leitfadengestützte Interviews mit Stakeholdern in Deutschland und ausgewählten Partnerländern (Polen, Türkei, China) geführt. Schwerpunkt der zweiten Phase war eine breit angelegte quantitative Onlinebefragung mit den PASCH-Zielgruppen in insgesamt zehn Partnerländern. | 4/2015 | 10/2016 | Dr. Vera Hennefeld | Auswärtiges Amt (AA) |
Meta-Evaluierung der Projektevaluierungen aus den Jahren 2014-2015Leiter: Dr. Susanne Johanna Väth Mitarbeiter: Dr. Cornelia Römling Kooperationspartner: .Evaluation.Consulting (Jens Koy) Beschreibung Misereor unterstützt eine Vielzahl von Entwicklungsprojekten die durch Partnerorganisationen durchgeführt werden. Die Evaluation dieser Projekte, beauftragt durch die Partnerorganisationen oder durch Misereor leistet einen wichtigen Informations- und Lernbeitrag. Das CEval ist zusammen mit .Evaluation.Consulting nun beauftragt eine Metaevaluation der Evaluationen der Jahre 2014-2015 durchzuführen. Ziel ist es, aussagekräftige Informationen zur Qualität der von Partnern beauftragten Evaluierungen zu erheben und so im Bereich der Qualitätssicherung mögliche Verbesserungen herbeizuführen.
Dabei richtet sich die Meta-Evaluierung im Wesentlichen nach den DAC-Standards und -Prinzipien. Methodisch wird in einer ersten Stufe eine repräsentative Anzahl von Studien einem Basischeck unterzogen, um so Qualitätsaussagen aus der Breite der Studien ziehen zu können. Die Kriterien Vollständigkeit und Angemessenheit der Dokumentation, Unabhängigkeit, Glaubwürdigkeit, Nützlichkeit werden anhand von verschiedenen Unterkriterien bewertet und anschließend aggregiert. In einem zweiten Schritt wird ein Teil der Studien, die eine besondere Lernfunktion erfüllen, einer intensiven Analyse von diesen und weiteren Kriterien unterzogen. Ausgewertet werden hauptsächlich die Evaluierungsberichte aber auch dazugehörige Dokumente wie Terms of Reference und generelle Dokumente von Misereor zum Thema. Darüber hinaus, werden zur Beantwortung bestimmter Untersuchungsfragen auch vereinzelt Interviews durchgeführt. In Zusammenarbeit mit .Evaluation.Consulting übernimmt das CEval die Entwicklung und Konzeption der Analyseraster und ist insbesondere in der Datenanalyse und -auswertung involviert. | 6/2016 | 10/2016 | Dr. Susanne Johanna Väth | MISEREOR |
Praxis-Impact II: Weiterentwicklung und Erprobung eines Konzeptes zur Dokumentation und Evaluierung von Leistungen der Agrarforschung für Praxis und GesellschaftLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Hansjörg Gaus Beschreibung Kooperationspartner: Universität Kassel, Fachbereich Ökologische Agrarwissenschaft, Fachgebiet Ökologischer Land und Pflanzenbau
Die etablierte Forschungsevaluierung erfasst vornehmlich den wissenschaftlichen Impact und nutzt dafür Indikatoren wie begutachtete Publikationen, zitationsbasierte Indikatoren und Drittmittel. Damit wird jedoch nur unzureichend erfasst, inwieweit Beiträge zur Lösung gesellschaftlich relevanter Probleme geleistet und ein Nutzen für Praxis und Gesellschaft generiert werden. Gerade die Agrarforschung hat hier jedoch ein wichtiges Tätigkeitsfeld, das angesichts der Herausforderungen Klimawandel, Ernährungssicherung und Ressourcenverknappung künftig noch stark an Bedeutung gewinnen wird. Dieses Forschungsprojekt sollte dazu beitragen, die Evaluierung der Agrarforschung grundsätzlich um eine Bewertung der Leistungen für Praxis und Gesellschaft zu erweitern.
Die Forschungsarbeiten bauten auf den zahlreichen bestehenden Evaluierungskonzepten auf. Diese umfassen sowohl die Aktivitäten der Forschung, die einen Impact wahrscheinlich machen (z.B. Vorträge, Workshops, Praxispublikationen), als auch eine Erfassung des tatsächlichen Impacts. Hindernisse für eine breitere Etablierung dieser Konzepte bestehen jedoch bisher hinsichtlich des Aufwandes für die Datenerfassung.
Kernziel des Projektes war die Entwicklung eines auf die Agrarforschung abgestimmten, erprobten und anschlussfähigen Dokumentations- und Evaluierungskonzeptes. Dieses sollte so breit angelegt sein, dass die gesamte Agrarforschung damit abgedeckt werden kann, um die Nutzung für verschiedene Evaluierungsgegenstände (Wissenschaftler, Projekte, Programme, Institutionen) zu gewährleisten. Die Dokumentation soll einen hohen Nutzwert für die Verwendung in der Antragsstellung und Berichterstattung haben, um durch Synergieeffekte den Dokumentationsaufwand für die Wissenschaftler nicht zu erhöhen. Erstellt wurden strukturierte Dokumentationsvorlagen, die für die technische Umsetzung in einem Datenbanksystem ausgereift sind, sowie Analyse- und Bewertungsraster. Die Entwicklung und Erprobung erfolgte anhand realer Forschungsprojekte, in welche jeweils drei Perspektiven dokumentierende Wissenschaftler, Forschungsförderung und Evaluation – eingebunden waren. Ferner engagierte sich das Projekt darin, mit der der Agrarforschung und relevanten Akteuren und Experten umsetzbare und akzeptierte Etablierungswege zu erarbeiten. | 12/2012 | 9/2016 | Dr. Hansjörg Gaus | BÖLN - Bundesprogramm Ökologischer Landbau und andere Formen nachhaltiger Landwirtschaft, Bundesanstalt für Landwirtschaft und Ernährung (BLE) |
Evaluierung und Beratung: Der QUIZ-Kompass auf dem PrüfstandLeiter: Dr. Susanne Johanna Väth Kooperationspartner: Ute Metje Beschreibung Um die eigene Arbeit effizienter zu planen und den wachsenden Qualitätsansprüchen im Rahmen der Wirkungsdebatte in der Entwicklungszusammenarbeit gerecht zu werden, hat die Abteilung Internationale Entwicklungszusammenarbeit der FES den QUIZ-Kompass (Qualitätsmanagement in der Internationalen Zusammenarbeit) im Jahr 2006 entwickelt, in den Folgejahren getestet um im Jahr 2010 verbindlich für alle Landesprojekte eingeführt.
Parallel dazu hat das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) eine Arbeitsgruppe zur Vereinheitlichung und Verbesserung des Berichts- und Antragswesens für die politischen Stiftungen ins Leben gerufen. Dies führte schließlich im Jahr 2012 zur Einführung neuer Berichts- und Antragsformate, die nunmehr für alle politischen Stiftungen verbindlich sind.
Durch diese Entwicklungen sind zum einen die Anforderungen im Berichts- und Antragswesen gestiegen. Zum anderen hat sich gezeigt, dass der QUIZ-Kompass und die BMZ-Vorgaben gemeinsam betrachtet einige Überlappungen und kleinere Widersprüche aufweisen. Dies hat dazu geführt, dass die FES sich entschieden hat den QUIZ-Kompass zu überarbeiten. Ziel der Evaluierung und Beratung war in einem ersten Schritt seine Aktualität im Hinblick auf den Status quo der Wirkungsdebatte in der Entwicklungszusammenarbeit zu analysieren. In einem zweiten Schritt ging es darum die Praktikabilität des Instrumentes zu evaluieren. In einem dritten Schritt sollten schließlich Empfehlungen für die Verschlankung und Neukonzipierung des Instruments aus den gewonnenen Erkenntnissen abgeleitet werden. | 4/2016 | 9/2016 | Dr. Susanne Johanna Väth | Friedrich-Ebert-Stiftung (FES) |
Untersuchung der Effektivität und des Impact der Extractive Industries Transparency Initiative (EITI)Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling, Dipl.Reg.Wiss. Christina Gollan Beschreibung Die Extractive Industries Transparency Initiative (EITI) ist ein globaler Standard zur Förderung eines offenen und rechenschaftspflichtigen Managements natürlicher Ressourcen. Der Standard soll Regierungs- und Unternehmenssysteme stärken, die öffentliche Debatte informieren und Vertrauen fördern. In jedem implementierenden Land wird die Initiative durch einen Zusammenschluss von Regierungen, Unternehmen und Organisationen der Zivilgesellschaft unterstützt.
Die GIZ hatte die Evaluation der Initiative in Auftrag gegeben und dabei die folgenden Ziele definiert:
- Die Bewertung der Outcomes, der Effektivität und des Impacts (positiv und negativ, intendiert und nicht intendiert) von EITI vor dem Hintergrund des EITI MDTF Results Framework, und die nähere Betrachtung der Verbindungen zwischen Transparenz, Rechenschaftspflicht und wenn möglich weitergehenden Entwicklungszielen.
- Die Bewertung der durch EITI entwickelten Theorie des Wandels und des EITI MDTF Results Framework mit dem Ziel, ein verbessertes generisches EITI Zielsystem zu entwickeln und ausgewählte Multi Stakeholder Groups bei der Entwicklung spezifischer nationaler EITI Zielsysteme und der Ableitung wirkungsorientierter Indikatoren zu assistieren.
Diese Ziele und die Komplexität des EITI Kontextes machten ein maßgeschneidertes Design notwendig. Der methodische Ansatz der Evaluation umfasste deswegen:
- Makro-quantitative statistische Analysen
- Tiefgehende Fallstudien
- Partizipative Ansätze in der Operationalisierung, Datenerhebung und der Analyse der Ergebnisse.
Unter der Koordination von LBN Strategies und in Zusammenarbeit mit weiteren Beratern übernahm das Centrum für Evaluation die Führung in der Studienkomponente „Ansätze und Methodologie“. | 12/2015 | 8/2016 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ), LBN Strategies |
Entwicklung von Indikatoren zur Dienstleistungsqualität, zur fachlichen Qualität und zur ProduktivitätLeiter: Dr. Wolfgang Meyer Beschreibung Der Medizinische Dienst der Krankenkasse (MDK) Baden‐Württemberg ist ein organisatorisch selbständiger und fachlich unabhängiger sozialmedizinischer Beratungs- und Begutachtungsdienst der gesetzlichen Kranken- und Pflegeversicherung. Im Auftrag der gesetzlichen Krankenkassen erstellt der MDK an 18 Standorten in Baden-Württemberg jährlich etwa 1,6. Mio. Gutachten. Unter Mitwirkung der operativen Fachbereichsleitungen, des Personalrats sowie der Fachbereiche Controlling und Qualitätsmanagement plante der MDK die Einführung eines Monitoringsystems zur Überprüfung seiner Dienstleistungsqualität, seiner fachlichen Qualität und seiner Produktivität. Das CEval begleitete diesen Prozess und beriet das MDK bei der Einrichtung eines geeigneten Monitoringsystems sowie der Entwicklung von Qualitätsindikatoren. | 10/2015 | 7/2016 | Dr. Wolfgang Meyer | Medizinischen Dienst der Krankenversicherung (MDK) Baden-Württemberg |
Trend- und Wirkungsstudie zum Fairen Handel in DeutschlandLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: M.A. Sandra Bäthge Beschreibung Der Faire Handel blickt in Deutschland auf eine über 40-jährige Geschichte zurück, in deren Verlauf er sukzessive stärker ins öffentliche Bewusstsein vordrang. Die Wirkungen des Fairen Handels in den Produktionsländern fair gehandelter Produkte sind inzwischen in zahlreichen Studien bearbeitet worden. Demgegenüber fehlen bislang Erkenntnisse darüber, welche Auswirkungen der Faire Handel in den Konsumentenländern zeigt.
Diese Lücke schließt die vom CEval durchgeführte Studie zum Fairen Handel in Deutschland. Ihr Ziel ist es, durch den fairen Handel hervorgerufene gesellschaftliche Veränderungen sowie den Beitrag der Fairhandelsbewegung auf diese Trends zu identifizieren.
Mithilfe eines partizipativen Ansatzes wird dabei sichergestellt, dass die Expertise und Perspektiven wichtiger Akteure angemessen in die Studie einfließen. Dem Untersuchungsgegenstand widmet sich die Studie weiter entlang eines theoriebasierten Ansatzes und wendet einen ausgewogenen Mix aus qualitativen und quantitativen Methoden an.
Zur Datenerhebung werden eine intensive Literaturstudie, qualitative Experteninterviews, Fokusgruppendiskussionen, Online-Erhebungen und eine telefonische Konsumentenbefragung durchgeführt. Die Auswertung der Daten erfolgt unter anderem mittels qualitativer Inhaltsanalysen, Zeitreihenanalysen sowie deskriptiver statistischer Auswertungen. Nach der Datenauswertung werden die Ergebnisse der Studie in einem Bericht aufbereitet und bei einem Abschlussworkshop gemeinsam mit den Auftraggebenden und Unterstützenden der Studie reflektiert. | 8/2015 | 6/2016 | Dr. Stefan Silvestrini | Transfair, Servicestelle Kommunen in der Einen Welt, MISEREOR, Brot für die Welt, Forum Fairer Handel; mit Unterstützung der Friedrich-Ebert-Stiftung |
Externe Auditierung im Rahmen der Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“Leiter: Dr. Stefan Silvestrini Beschreibung In Deutschland existiert in Form von Fanprojekten ein dichtes bundesweites Netzwerk von Einrichtungen der Sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit arbeiten (NKSS). Zu Zwecken der Qualitätssicherung und der kontinuierlichen Verbesserung der Arbeit der Fanprojekte wurde 2010 das Qualitätssiegel ‘Fanprojekt nach dem NKSS‘ eingeführt. Dieses soll zu einer verbesserten Wahrnehmung der Fanprojekte beitragen und den Fanprojekten Handlungssicherheit bieten. Das Qualitätssiegel ist 2012 in das überarbeitete NKSS aufgenommen worden und damit auf hoher politischer Ebene anerkannt. Vergeben wird das Qualitätssiegel von der Arbeitsgruppe Qualitätssicherung, in welcher Akteure aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft sowie der Fanprojekte vertreten sind. Das Vergabeverfahren des Qualitätssiegels sollte sowohl aus inhaltlicher als auch aus prozeduraler Perspektive überarbeitet werden, um ein Siegel zu schaffen, das ein valides Zeichen für die Güte und Qualität eines Projektes ist. Das Vergabeverfahren soll möglichst objektiv gestaltet sein und Transparenz über die Gründe für eine Vergabe oder auch Nicht-Vergabe des Siegels sichern. Im Rahmen der Überarbeitung des Siegels war es daher Aufgabe des Centrums für Evaluation (CEval), einen Kriterienkatalog sowie einen standardisierten Erhebungsbogen zu entwickeln. Darüber hinaus erarbeitete das CEval in Absprache mit den Partnern ein Konzept für die Umsetzung einer Pilotphase, in der das überarbeitete Qualitätssiegel und dessen Vergabeprozess auf ihre Praxistauglichkeit geprüft wurden. Die Pilotphase wurde mit fünf ausgewählten Fanprojekten umgesetzt. Auf Basis der Erkenntnisse und Erfahrungen der Pilotphase wurden das Konzept und die Instrumente finalisiert. | 5/2015 | 6/2016 | Dr. Vera Hennefeld | Koordinationsstelle Fanprojekte bei der dsj |
Meta-Evaluation World Vision DeutschlandLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth Beschreibung Zum zweiten Mal hat World Vision Deutschland (WVD) das CEval beauftragt 29 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel dabei war es, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.
Methodisch konzentrierte sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die OECD/DAC Kriterien, Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit, anlehnt. In einem ersten Schritt wurden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, Befriedigung des Informationsbedarf, Identifizierung des Programmbeitrags sowie Ergebnisdarstellung anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert wurden.
Der Analyserahmen wurde bei der diesjährigen Meta-Evaluation um Nutzung und Nützlichkeit von Evaluationsergebnissen für die Projektarbeit erweitert. Um dies zu realisieren wurden leitfadengestützte Interviews mit WV Programmkoordinatoren auf internationaler Ebene durchgeführt. Basierend auf den erhaltenen Impulsen wurde ein Online Fragebogen für die Mitarbeiter von WV International entwickelt, sodass die Nützlichkeitsbewertung auf Grundlage einer internationalen, organisationsweiten Online-Befragung erfolgte.
Zusätzlich wurde die Transparenz innerhalb des herausgegebenen Wirkungsberichts bewertet. Die Bewertung erfolgte anhand der Kriterien Nachvollziehbarkeit/Verständlichkeit, Vorliegen der für die Zielgruppen relevante Informationen, methodische Vorgehensweise, Validität der genutzten Daten und Quellen, Objektivität sowie Veröffentlichung/Zugang. | 3/2016 | 6/2016 | Dr. Stefan Silvestrini | World Vision Deutschland e.V. (WVD) |
Evaluation des Deutschen Partnerschaftsprogramms für Biosicherheit und GesundheitssicherstellungLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Vera Hennefeld Beschreibung Das Deutsche Partnerschaftsprogramm für Biologische Sicherheit und Gesundheitssicherstellung wurde durch das Auswärtige Amt (AA) im Jahr 2013 ins Leben gerufen. Es fügt sich in die „G7 Globale Partnerschaft gegen die Verbreitung von Massenvernichtungswaffen und -materialien“ ein. Das Programm wurde im Auftrag des AA durch das Robert Koch-Institut (RKI) und die Gesellschaft für Internationale Zusammenarbeit (GIZ) entwickelt. Für das Programm wurden folgende Ziele formuliert: (1) Missbrauch von biologischen Agenzien und Erregern vorbeugen; (2) Kontrolle von biologischen Sicherheitsrisiken verbessern; (3) Ausbreitung von gefährlichen Agenzien und Erregern eindämmen; (4) Nationale Gesundheitskapazitäten in Partnerländern stärken; (5) Deutsche Expertise zur Abwehr biologischer Risiken erhöhen; (6) Internationale Kooperationen deutscher Institute nachhaltig stärken. Zum Erreichen dieser Ziele fokussiert das Partnerschaftsprogramm auf folgende Schwerpunkte: Surveillance, Detektion und Diagnostik, Biosafety und Biosecurity, Awareness Raising & Sensibilisierung, Vernetzung.
Die CEval GmbH wurde durch das AA mit der Durchführung einer externen Evaluation beauftragt. Die Ziele der Evaluation waren die Untersuchung der Arbeitsweise, Planung, Durchführung sowie Resultate bei den beteiligten Institutionen, die Analyse der Zusammenarbeit mit internationalen Partnern und die Überprüfung der Zielerreichung. Auf Basis der Ergebnisse wurden Entscheidungshilfen zur Nachsteuerung/Neuorientierung der Programmaktivitäten für die derzeit in Planung befindliche zweite Programmphase 2016-2019 generiert.
Die Evaluation erfolgte nach den OECD/DAC-Evaluierungskriterien: Relevanz, Effektivität, Effizienz, Impact und Nachhaltigkeit. Ergänzend dazu wurden die Kriterien Koordination, Komplementarität und Kohärenz untersucht.
Seit Programmstart wurden 17 Projekte in mehr als 20 Ländern umgesetzt. Im Rahmen der Evaluation wurde der Schwerpunkt auf eine Analyse und Bewertung der Aktivitäten der Partner in den folgenden vier Ländern gelegt: RKI+GIZ: Sudan, BNI: überregionales Projekt GIBACHT, FLI: Kamerun, IMBw: Kasachstan. Hierzu erfolgten jeweils dreitägige Länderfallstudien vor Ort, in deren Rahmen Datenerhebungen durch ein interdisziplinäres Gutachterteam bei den für die Konzeption und Umsetzung der Projekte Verantwortlichen erfolgten. Zur Datenerhebung wurden Dokumentenanalysen, leitfadengestützte Interviews, Fokusgruppen (Gruppendiskussionen) sowie Begehungen und Beobachtung eingesetzt. | 1/2016 | 6/2016 | Dr. Vera Hennefeld | Auswärtiges Amt (AA) |
Wie steuert man Nachhaltigkeit und Wirksamkeit?Leiter: Dr. Stefan Silvestrini Beschreibung Die Akteure der Auswärtigen Kultur- und Bildungspolitik (AKBP) stehen vor der Herausforderung, dass der Kontext ihres Handelns immer auch in Interaktion mit komplexen, dynamischen Politik- und Sozialzusammenhängen steht. Dies erschwert die Generierung von Wissensgrundlagen zur Projektsteuerung und damit zur Sicherung der Nachhaltigkeit und Wirksamkeit der Projekte der AKBP.
Ziel des Forschungsprojekts war daher die Beantwortung der Frage, welche Methoden und Instrumente sich in den volatilen Kontexten der AKBP eignen, um Wirkungen unter sich verändernden Rahmenbedingungen erkennen zu können. Zudem wurde untersucht, wie dieses Wissen für die Projektsteuerung genutzt werden kann. Hierfür wurde zunächst eine Bestandsaufnahme bereits eingesetzter Instrumente durchgeführt, darauf aufbauend wurden neuere Ansätze zur Generierung von Bewertungs- und Entscheidungsgrundlagen im Hinblick auf ihre Übertragbarkeit in der AKBP analysiert. | 1/2016 | 5/2016 | Dr. Vera Hennefeld | Institut für Auslandsbeziehungen (ifa) |
Begleit- und Akzeptanzforschung zu aktuellen Fragen des Stromnetzausbaus in Deutschland - Wissenschaftliche Begleitung der Planungspraxis (Modul III)Leiter: Prof. Dr. Reinhard Stockmann Kooperationspartner: Institut für ZukunftsEnergieSysteme (IZES) gGmbH Beschreibung Im Rahmen des Gesamtvorhabens wurden in einem ganzheitlichen und systematischen Ansatz die verschiedenen Einflussfaktoren auf die Akzeptanz des Netzausbaus ermittelt und vergleichend dargestellt. Aus den wissenschaftlichen Ergebnissen wurden für die anstehenden Fragen des Netzausbaus, wie z.B. Planungsverfahren und Kommunikationsstrategien, praktisch nutzbare Empfehlungen abgeleitet.
Das Forschungsvorhaben gliederte sich insgesamt in drei Module, in welchen akzeptanzrelevante Prozesse und Faktoren in verschiedenen Regionen und auf unterschiedlichen Akteursebenen untersucht wurden.
Um ein gesamtgesellschaftliches Verständnis für den Leitungsausbau zu erreichen, waren übergeordnete und breitenwirksame Informations- und Kommunikationsmaßnahmen erforderlich. Im vom CEval bearbeiteten Modul III wurde ein Überblick über die momentan existierenden und geplanten Maßnahmen erstellt und bei ausgesuchten Elementen genauer spezifiziert, welche Maßnahme welche Zielgruppe anspricht. Folgend wurden die Informations- und Kommunikationsmaßnahmen begleitet, um Effekte auf Einstellungsveränderungen bzgl. des Netzausbaus festzustellen, Erfolgskriterien zu identifizieren und Rückmeldungen in Hinblick auf deren Wirkweisen und Optimierungsmöglichkeiten geben zu können. | 9/2013 | 4/2016 | Dr. Hansjörg Gaus | Bundesministerium für Wirtschaft und Energie (BMWi) |
Ex-Post Evaluation des Regional-Entwicklungsprogramms „La Malacateca“ in GuatemalaLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Von Oktober 1998 bis September 2012 setzte World Vision in der Gemeinde Malacatán in Guatemala ein Regional-Entwicklungsprogramm um. Das Programm umfasste vier Bereiche: Gesundheit, Bildung, wirtschaftliche Entwicklung und Patenschaften und hatte zum Ziel, die Lebenssituation der Familien zu verbessern. Drei Jahre nach Beendigung des Programms lies World Vision eine Ex-Post-Evaluierung durchführen, um die Nachhaltigkeit der erreichten Wirkungen zu überprüfen. Zu diesem Zweck arbeitete das Centrum für Evaluation mit einer lokalen guatemaltekischen Beratungsfirma (CONSULTA) an der Umsetzung einer quantitativen Haushaltsbefragung mit Kontrollgruppe und qualitativen Erhebungen mit der Zielgruppe und relevanten Schlüsselinformanten. | 11/2015 | 3/2016 | Dr. Stefan Silvestrini | World Vision Deutschland e.V. (WVD) |
Entwicklung und Umsetzung eines organisationsweiten wirkungsorientierten Monitoring- und EvaluationssystemsLeiter: Dr. Stefan Silvestrini Beschreibung Ziel des Beratungsprojekts war es, ein unternehmensweites, wirkungsorientiertes Monitoring- und Evaluations- (M&E) System zu entwickeln und gemeinsam mit den Programmverantwortlichen umzusetzen. Aufgrund der Komplexität des abzubildenden Wirkungsgefüges, das insgesamt 17 Bildungs- und Förderprogramme, kommunale Entwicklungsprogramme und Dienstleistungen sowie die Unternehmensziele von Engagement Global umfasste, wies das Vorhaben einen klaren Forschungsbezug auf. Es ist damit das erste ganzheitliche wirkungsorientierte M&E auf Unternehmensebene in der Entwicklungszusammenarbeit.
Entsprechend des durch die Systemkomplexität und der großen Anzahl von involvierten Akteuren (Unternehmensleitung und Programmverantwortliche von Engagement Global, kommunale und zivilgesellschaftliche Akteure, BMZ etc.) bedingten hohen organisatorischen Aufwands, folgte das Vorhaben einem mehrstufigen, partizipativen Beratungsansatz. Ausgangspunkt war dabei eine Bestandsaufnahme der bislang in den einzelnen Programmen und Dienstleistungsbereichen von Engagement Global bereits genutzten Indikatoren, Erhebungsinstrumente und Auswertungsverfahren. Im Anschluss daran wurde auf Grundlage rekonstruierter und entsprechend validierter spezifischer Wirkungsgefüge überprüft, inwieweit damit die Wirksamkeit der einzelnen Programme und Dienstleistungen erfasst wird und welche Informationslücken noch bestehen. Besonderes Augenmerk lag hierbei auch auf der Erfassung des Beitrags der einzelnen Programmwirkungen zur Erreichung der Unternehmensziele von Engagement Global. Im nächsten Schritt wurde dann wiederum gemeinsam mit den Programmverantwortlichen das bestehende Instrumentarium weiterentwickelt und die Umsetzbarkeit der neuen Elemente praktisch erprobt. Die Ergebnisse dieses Entwicklungsprozesses wurden schließlich in einem umfassenden M&E-Konzept dokumentiert und in das organisationsweite Qualitätssicherungssystem technisch sowie mittels entsprechender Schulungsmaßnahmen operativ integriert. | 5/2014 | 3/2016 | Dr. Stefan Silvestrini | Engagement Global Service für Entwicklungsinitiativen gGmbH |
Wirkungsevaluierung des Nachwuchsförderprogramms „Agentes de Cambio“ in Zentralamerika sowie der Dominikanischen RepublikLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan Beschreibung Die Friedrich-Ebert-Stiftung (FES) hatte das Centrum für Evaluation mit der Evaluierung des Nachwuchsförderprogramm "Agentes de Cambio" beauftragt, welches ein zentraler Bestandteil der Stiftungsarbeit ist und sich über die Länder Costa Rica, Dominikanische Republik, Guatemala, Honduras, El Salvador, Nicaragua und Panama erstreckt. Ziel der Evaluierung war es, die Wirkungen des Nachwuchsförderprogramms in der Summe zu verstehen und gleichzeitig mögliche länderspezifische Besonderheiten herauszuarbeiten und damit die Basis für Empfehlungen zur Weiterentwicklung des Curriculums, zur Anpassung von Projektzielen und -strategien sowie zur Verbesserung von Steuerungsmechanismen zu legen. Darüber hinaus sollte der FES ein praxistaugliches Datenerhebungsinstrument zum Programmmonitoring und zur Evaluierung in den teilnehmenden Ländern an die Hand gegeben werden.
Bei der Evaluierung kombiniert das CEval in einem quasi-experimentellen Untersuchungsdesign teilstandardisierte Online-Erhebungen mit Fokusgruppendiskussionen und leitfadengestützte Experteninterviews. | 2/2015 | 2/2016 | Dr. Stefan Silvestrini | Friedrich-Ebert-Stiftung (FES) |
Hochschulkooperation mit der Universität von Costa Rica (UCR) gefördert durch das DAAD-Programm „Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern“Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: M.A. Sandra Bäthge, Dr. Susanne Johanna Väth Beschreibung Nach einer erfolgreichen dreijährigen Zusammenarbeit zwischen dem Centrum für Evaluation (CEval) der Universität des Saarlandes und der Universität von Costa Rica (UCR) zur Weiterentwicklung des seit 1995 an der UCR implementierten ‚Masterstudiengangs in Evaluation von Projekten und Programmen zur sozialen Entwicklung‘ (MEPPD), planten die beiden Universitäten ab 2011 die Intensivierung und Vertiefung ihrer Kooperation. Der DAAD, der durch sein Beraterprogramm seit 2008 bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt hatte, begrüßte dieses Vorhaben. Aus diesem Grund förderte er von 2012 bis 2015 über sein Programm „Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern“ auch die zweite Phase der Kooperation zwischen UCR und UdS.
Gemäß der Zielsetzung des DAAD-Programms, durch den akademischen Austausch eine Verbesserung der Lehrsituation zu erreichen und einen Beitrag zum Aufbau von nachhaltigen Strukturen im Bereich der Lehre im Partnerland zu leisten, bildete der Austausch von Studierenden, Promovierenden und Dozierenden einen Schwerpunkt der vierjährigen Kooperation. Weiterhin standen die Öffnung des MEPPD für den zentralamerikanischen Raum (Regionalisierung), die Anpassung der Lehre im Masterstudiengang Evaluation der UCR an die regionale Nachfrage und die daraus abgeleiteten Ausbildungsbedürfnisse (Profilierung) sowie die Einbindung der Hochschulkooperation in bestehende internationale Netzwerke (Internationalisierung) im Mittelpunkt der engeren Zusammenarbeit. Durch die vierjährige Zusammenarbeit konnte die Praxis- und Bedarfsorientierung des MEPPD gestärkt, bestehende regionale und internationale fachliche Netzwerke etabliert bzw. erweitert sowie die Kapazitäten in Lehre und Forschung ausgebaut werden.
Eine Fortsetzung der Kooperation unter Aufnahme einer weiteren Hochschule aus dem lateinamerikanischen Raum ist für 2017 vorgesehen. | 1/2012 | 12/2015 | Dr. Stefan Silvestrini | Deutscher Akademischer Austauschdienst (DAAD) |
MRE Netzwerk Hessen-Saarland: Schnittstellen in der Versorgung und ihre Überwindung durch Analyse, Wirkungsevaluation, und Einsatz neuer Lehr/LerntechnikenLeiter: Prof. Dr. Matthias Hermann Beschreibung Der Prävention vermeidbarer Infektionen im Gesundheitssystem kommt mit zunehmender Erkenntnis über die Bedingungen ihrer Entstehung und Ausbreitung ein legitimer und wachsender öffentlicher Anspruch zu. Mit dem Projekt wurde das Ziel verfolgt, durch ein über verschiedene Strukturen und Institutionen des Gesundheitssystems ausgerolltes Maßnahmen-Spektrum, unter Anwendung unterschiedlicher Methoden aus Infektionsmedizin, Lehr/Lerntheorie, differentieller Psychologie und Sozialwissenschaften, ein umfassendes Modell der integrativen, Sektor übergreifenden Intervention zur Prävention bakterieller Resistenzen und nosokomialer Infektionen in etablierten Regionalnetzwerken zu entwickeln. Diese für Deutschland neue, integrative Form der Versorgungsforschung sollte durch innovative Ansätze zur Infektions- und Resistenzprävention neue Erkenntnisse für deren Umsetzung im Rahmen allgemein anwendbarer Empfehlungen und Richtlinien liefern.
Das übergreifende Ziel des Projekts bestand darin, etablierte Verfahren und Maßnahmen zur Antibiotikakontrolle sowie zur Vermeidung von nosokomialen Infektionen in den bestehenden Netzwerken MRSAar/netz und MRE Rhein-Hessen weiterzuentwickeln und schwerpunktmäßig im nicht-akutstationären Bereich auszurollen.
Im interdisziplinären Forschungsprojekt unterstützte das CEval die Evaluation unterschiedlicher Informations- und Aufklärungsinterventionen durch sozialempirische Erhebungen und Analysen. Neben qualitativen Verfahren der Datenerhebung und -auswertung wurde für die Wirkungsanalyse auf quasi-experimentelle Untersuchungsanordnungen und entsprechende statistische Auswertungstechniken zurückgegriffen. Auf Grundlage der Synthese der infektionsepidemiologischen, biometrischen, sozialempirischen und differentialpsychologischen Befunde sollten Erkenntnisse mit Bedeutung für die praktische Umsetzung (z.B. in Richtlinien oder Empfehlungen zur Infektionsprävention und Antibiotikaversorgung) gewonnen werden. | 5/2013 | 12/2015 | Dr. Vera Hennefeld | Bundesministerium für Gesundheit (BMG) |
Aufbau eines wirkungsorientierten M&E-Systems in Deutschland für die Kooperationsplattform Lateinamerika Nord (KOPLAN)Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan Beschreibung Innovative Umwelt- und Klimatechnologien werden bislang nur in geringem Maße in Zentralamerika und Mexiko genutzt. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzt KOPLAN („Kooperationsplattform Lateinamerika Nord“) an: Ziel ist die Verbreitung von (deutschen) umwelt- und klimaverträglichen Technologien in Mexiko und Zentralamerika, um so einen Beitrag zum Umweltschutz zu leisten. Die deutsche Umweltwirtschaft hat in den letzten Jahren dabei weltweit eine Vorreiterrolle eingenommen und sich gerade im Bereich anwendungsorientierter Technologien für viele Innovationen verantwortlich gezeichnet. Die Studie verfolgte drei Hauptfragestellungen, nämlich a) die Frage nach dem Exportpotenzial der deutschen Umwelttechnologiebranche, b) ob und inwieweit deutsche Angebote der potenziellen Nachfrage in Mexiko und Zentralamerika entsprechen und c) welche Exporthemmnisse existieren und wie diese überwunden werden können.
Neben einem wirkungsorientierten Monitoring vor Ort in Mexiko war aufgrund der angestrebten Projektwirkungen in Deutschland auch dort ein ergänzendes Monitoring notwendig. Zentrale Aufgabe des Projektes war daher die Entwicklung eines wirkungsorientierten Monitoring- und Evaluationssystems zur Messung der angestrebten Wirkungen von KOPLAN in Deutschland. Hierzu wurden ein umfassendes Indikatorentableau sowie ein Erhebungsplan entwickelt, welche als Grundlage für die Etablierung zweier Panels dienen sollten, um Veränderungen bei den wichtigsten Zielgruppen des Projekts, den deutschen Unternehmen der Umwelttechnologiebranche und zentralen Multiplikatoren der deutschen Umweltwirtschaft, messen zu können. Nach Abschluss der Entwicklung des M&E-Systems wurde das CEval mit der Durchführung der ersten Panelbefragung beauftragt. Dabei wurden quantitative und qualitative Datenerhebungsmethoden angewandt (standardisierte Befragung teilnehmender Unternehmen, einer Vergleichsgruppe und Multiplikatoren, Dokumente- und Sekundärdatenanalyse, leitfadengestützte Experteninterviews). | 2/2014 | 12/2015 | Dr. Wolfgang Meyer | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
Weiterentwicklung des Monitoring und Berichtssystems zum Aktionsplan „Inklusion von Menschen mit Behinderungen“ in der deutschen entwicklungspolitischen ZusammenarbeitLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Stefan Silvestrini Beschreibung Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hat im Februar 2013 zur Umsetzung der Verpflichtungen, die sich aus Artikel 32 der Konvention über die Rechte von Menschen mit Behinderungen (MmB) der Vereinten Nationen ergeben, den Aktionsplan zur Inklusion von MmB veröffentlicht. Dieser gibt die zentralen Leitlinien und strategischen Ziele der Bundesrepublik Deutschland für die inklusive Gestaltung ihrer entwicklungspolitischen Zusammenarbeit vor.
Zur Fortschrittsbewertung und zur Steuerung der im Rahmen des Aktionsplans durchgeführten Maßnahmen bedurfte es eines adäquaten Monitoringsystems und Berichtswesen für dessen Konzeption methodisches Fachwissen notwendig ist. Dementsprechend wurde das Centrum für Evaluation (CEval) beauftragt das Sektorvorhaben „Inklusion von Menschen mit Behinderungen“ der deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) und das Referat 300 des BMZ bei der Erstellung eines Monitoring- und Analyserahmen zu unterstützen. | 10/2014 | 11/2015 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ), Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
Evaluation des Programms Baden-Württemberg-STIPENDIUM für Studierende – BWS plusLeiter: Dr. Stefan Silvestrini Beschreibung Seit über zehn Jahren vergibt die Baden-Württemberg Stiftung das Baden-Württemberg-STIPENDIUM, durch das jährlich bis zu 1.400 Studierende aus dem In- und Ausland Stipendien für ein Auslandsstudium erhalten. Mit dem Programmteil BWS plus unterstützt die Baden-Württemberg Stiftung seit 2011 innovative Initiativen baden-württembergischer Hochschulen, die den Auf- und Ausbau von neuen Beziehungen zu ausländischen Hochschulen bzw. die nachhaltige Intensivierung bestehender Kontakte zum Ziel haben.
Aufgabe der Evaluation des Programmteils BWS plus war es, das Erreichen der gesetzten Ziele zu überprüfen. Hierbei wurde unterschieden zwischen programmbezogenen (z.B. Ausbau des internationalen Netzwerks, Förderung innovativer Ideen von Studierenden) und strukturellen Zielen (z.B. die Verbesserung der Wahrnehmung des Stipendienprogramms und der Baden-Württemberg Stiftung).
Zur Datengewinnung folgte das CEval einem mixed-methods Ansatz. Dabei wurde eine Sekundäranalyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen in Form einer standardisierten Onlinebefragung realisiert. Zudem wurden qualitative Leitfadeninterviews mit Projektbeteiligten durchgeführt. | 1/2015 | 11/2015 | Dr. Vera Hennefeld | Baden-Württemberg Stiftung gGmbH |
Evaluation des Vorhabens "Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion"Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan Beschreibung Das CEval wurde von der Physikalisch-Technischen Bundesanstalt (PTB) mit der Evaluation des Vorhabens „Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion“ beauftragt.
Das Vorhaben umfasste die Länder Bolivien, Ecuador, Kolumbien und Peru und strebte eine Verbesserung der durch die lokalen Institutionen der Qualitätsinfrastruktur (QI) angebotenen Dienstleistungen an. Die Evaluation orientierte sich an den DAC-Kriterien (Relevanz, Effektivität, Impact, Effizienz, Nachhaltigkeit) und den Komponenten des Managementmodells „Capacity Works“ (Strategie, Kooperation, Steuerungsstruktur, Prozesse, Lernen und Innovation). Spezifische Evaluationsfragen waren:
Wie erfolgreich war das Konzept der Schaffung regionaler QI-Angebote?
Inwieweit halten die Partner den regionalen Ansatz für sinnvoll?
Welche Erfolgsfaktoren und Lernerfahrungen lassen sich identifizieren?
Wie erfolgreich war der Ansatz, sektorbezogene Angebotsstrategien pro Land ausarbeiten zu lassen?
Welche Erfolgsfaktoren und Lernerfahrungen gibt es dazu?
Zunächst stützte sich die Evaluation ausschließlich auf Projektdokumente, um die Möglichkeit der Durchführbarkeit von rein dokumentbasierten Evaluationen zu beleuchten. Nach einer ersten Einschätzung der Ergebnisse wurden diese durch Interviews mit Projektbeteiligten der PTB und Partnerinstitutionen ergänzt und Empfehlungen für zukünftige Projekte und dokumentenbasierte Evaluationen abgleitet. | 9/2015 | 11/2015 | Dr. Stefan Silvestrini | Physikalisch-Technische Bundesanstalt (PTB) |
Unterstützung der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen der (Politik-) Beratung im spezifischen Kontext des CEPAL-VorhabensLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan Beschreibung Die Gesellschaft für Internationale Zusammenarbeit (GIZ) ist im Juli 2014 mit der Durchführung eines zweijährigen TZ-Beratungsvorhabens „Strukturwandel für eine nachhaltige und inklusive Entwicklung“ mit der CEPAL (Wirtschaftskommission für Lateinamerika und die Karibik) beauftragt worden. Vor diesem Hintergrund arbeitet das Vorhaben aktuell mit einem Monitoring-System, welches eine Nachverfolgung der durchgeführten Aktivitäten/Beratungsdienstleistungen der CEPAL (inputs) und deren Nutzung (outputs) erlaubt. Eine Beobachtung der langfristigen Wirkungen findet bisher nur bedingt statt.
Die Hertie-School of Governance (HSoG) wurde mit der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen von (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens beauftragt. Da es für eine erfolgreiche Umsetzung des Beratungsprozesses neben Kenntnissen aus der Politikberatung umfassender Expertise in der Evaluationsforschung und -praxis bedarf, ist die HSoG an das Centrum für Evaluation (CEval) herangetreten um dieses als Konsortialpartner zu gewinnen.
Der Beratungsprozess setzt sich dabei aus den folgenden drei Arbeitspaketen zusammen:
- Grundlegende Aufbereitung theoretischer Ansätze zur Evaluierung von Politikberatung (unter Bezugnahme auf qualitative Methoden der empirischen Sozialforschung);
- Aufarbeitung von praktischen Erfahrungen aus der Politikberatung, wenn möglich in vergleichbaren Kontexten;
- Darstellung eines methodischen Ansatzes zur Messung von mittel- und langfristigen Wirkungen aufbauend auf den Erkenntnissen der ersten beiden Arbeitspakete für den spezifischen Kontext des Kooperationsprogramms mit der CEPAL.
Das CEval war schwerpunktmäßig am dritten Arbeitspaket beteiligt und entwickelte einen methodischen Ansatz, welcher eine Kombination von vorhabenübergreifendem Impact- und programmspezifischem Outcome-M&E umfasst. Der Ansatz sieht dabei einen Methodenmix aus Dokumentenanalyse, standardisierten (Online)Befragungen und leitfadengestütztem Expertenpanel vor.
| 11/2014 | 11/2015 | Dr. Stefan Silvestrini | Hertie School of Governance |
Projektevaluierung und Prüfung einer Folgemaßnahme des GIZ Sektorvorhabens Inklusion von Menschen mit BehinderungenLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth Beschreibung Im Rahmen der Projektevaluierung wurde geprüft inwiefern das Sektorvorhaben Inklusion von Menschen mit Behinderungen der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) entwicklungspolitische Wirkungen entfalten konnte. In Anlehnung an die OECD-DAC Kriterien wurden Experteninterviews und Fokusgruppendiskussionen geführt sowie M&E-Daten des Sektorvorhabens und weiterführende Dokumente systematisch ausgewertet. Damit wurde ein Beitrag zur Rechenschaftslegung gegenüber dem Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) geleistet, durch die Veröffentlichung eines Kurzberichts den Anforderungen der International Aid Transparency Initiative (IATI) nachgekommen sowie die Grundlage für die Planung einer Folgemaßnahme gelegt. | 10/2014 | 11/2015 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
Fallstudie für Thüringen im Rahmen der Evaluation des “European Dynamics for DEAR Efficiency” ProjektesLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: M.A. Christine Nolte Beschreibung Das CEval wurde von Planète Publique (Paris) mit der Durchführung einer Fallstudie im Rahmen der Evaluation des EU-Projekts „European Dynamics for DEAR Efficiency“ beauftragt. Das Projekt diente dazu, Maßnahmen der entwicklungspolitischen Bildungsarbeit in vier europäischen Regionen (Thüringen/ Deutschland, Picardie/ Frankreich, Marches/ Italien und Luxembourg/ Belgien) zu fördern sowie den Austausch und das gegenseitige Lernen der teilnehmenden Akteure anzuregen. In Thüringen wurden entwicklungspolitische Bildungsmaßnahmen der schulischen und außerschulischen Bildung sowie verschiedene Vernetzungsaktivitäten auf regionaler wie auf europäischer Ebene gefördert. Für die Erstellung der Fallstudie hat das CEval qualitative Experteninterviews mit verschiedenen Stakeholdern des Projekts durchgeführt. | 10/2015 | 11/2015 | Dr. Wolfgang Meyer | Planète Publique |
Verbleibstudie: Evaluation der Begabtenförderung der Heinrich-Böll-Stiftung e.V.Leiter: Dr. Stefan Silvestrini Beschreibung Zu den zentralen Aufgaben der Heinrich-Böll-Stiftung (hbs) gehört die Studien- und Promotionsförderung. Seit dem Beginn der Studien- und Promotionsförderung im Jahre 1990 wurden rund 3000 Studierende und Promovierende gefördert. Das Ziel der Nachwuchsförderung ist es, die ausgewählten Persönlichkeiten sowohl materiell wie ideell zu unterstützen und damit einen Beitrag zur Förderung der demokratischen Kultur sowie grüner Ideen und Werte zu leisten.
Das CEval führte zur Evaluation der Langzeitwirkung der Begabtenförderung eine Verbleibstudie aller ehemaligen Stipendiatinnen und Stipendiaten der hbs durch. Die Förderwirkungen der hbs in Studium und Promotion wurden dabei erstmals dokumentiert und fach-, zielgruppen- und diversityspezifisch analysiert. Aufgabe war es, die Langzeitwirkungen der Begabtenförderung zu analysieren und die Befunde mit den Ergebnissen anderer Absolventen- und Verbleibstudien zu vergleichen.
Zur Datengewinnung folgte das CEval einem mixed-methods Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Daten und Dokumente vorgenommen und es wurden eigene Erhebungen in Form einer standardisierten Onlinebefragung der Alumni und qualitativen Leitfadeninterviews mit Alumni und Zuständigen der hbs durchgeführt. | 11/2014 | 9/2015 | Dr. Vera Hennefeld | Heinrich-Böll-Stiftung e.V (hbs) |
Synthese von drei Instrumentenevaluationen der Technischen Zusammenarbeit der PTBLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: M.A. Sandra Bäthge Beschreibung Das CEval wurde von der Physikalisch Technischen Bundesanstalt (PTB) mit der Ergebnissynthese dreier Instrumentenevaluationen beauftragt. 2014 hatte die PTB die separate Evaluation von drei Instrumenten ihrer technischen Zusammenarbeit in Auftrag gegeben – CALIDENA, QuISP und NMI-Metrology User Relations – von denen die ersten beiden vom CEval durchgeführt wurden. Ihrer Ergebnisse sollen nun aggregiert, verglichen und kontrastiert werden um übergeordnete Erfolgsfaktoren und Lernerfahrungen zu identifizieren und relevante Empfehlungen abzuleiten, unter anderem mit Blick auf den zukünftigen Einsatz der Instrumente in der technischen Zusammenarbeit der PTB.
Zu diesem Zweck wird das CEval die Evaluationsberichte einer qualitativen Inhaltsanalyse unterziehen und über qualitative Experteninterviews ergänzende Daten sammeln. Die Ergebnisse werden in einem Bericht aufbereitet und der PTB bei einem Workshop präsentiert. | 5/2015 | 8/2015 | Dr. Stefan Silvestrini | Physikalisch-Technische Bundesanstalt (PTB) |
Aufbereitung methodischer Ansätze und Erfahrungen zur Wirkungsevaluation von Trainingsmaßnahmen im öffentlichen SektorLeiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Sandra Bäthge Beschreibung Gemeinsam mit dem in Costa Rica ansässigen Institut CICAP beriet das CEval das GIZ-Vorhaben CADESAN in der Andenregion. Das Regionalvorhaben unterstützt die Entwicklung von Capacity Building Angeboten in den Bereichen Dezentralisierung und Modernisierung der öffentlichen Verwaltung.
Der Beratungsauftrag zielte darauf ab, der GIZ und ihren Partnerinstitutionen in der Region eine Analyse und Aufbereitung möglicher methodischer Ansätze zur Verfügung zu stellen, um die Wirkungen entsprechender Capacity Building und Trainingsmaßnahmen zu evaluieren. Hierzu wurden verschiedene Ansätze und Evaluationsdesigns, deren Anwendbarkeit auf den genannten Bereich sowie internationale Erfahrungen und Praktiken aufbereitet. Die Ergebnisse wurden bei einem Training mit der GIZ und ihren Partnern diskutiert. | 3/2015 | 8/2015 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ), Centro de Investigación y Capacitatión en Administración Pública (CICAP) |
Development and Implementation of a M&E-System for the Plan Honduras Project "Prevention, Protection and rights Restitution for Girls and Boys survivors of sexual violence"Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan Beschreibung Das übergreifende Ziel des Plan Honduras Projekts war es, Mädchen und Jungen vor sexueller Gewalt zu schützen und ihnen Zugang zu kinderfreundlichen und kompetenten Präventions- und Versorgungsmechanismen auf lokaler bis nationaler Ebene zu ermöglichen. Um dieses Ziel zu erreichen, entwickelte Plan Honduras ein Programm zur Stärkung von Präventions-, Schutz- und Versorgungsmechanismen in Familien, Gemeinden und auf nationaler Ebene für durch sexuelle Gewalt bedrohte und von sexueller Gewalt betroffene Mädchen und Jungen.
Die Aufgabe des Centrums für Evaluation (CEval) war die Begleitung und Unterstützung bei der Entwicklung und Implementierung eines wirkungsorientierten und geschlechtersensiblen M&E-systems für den Projektzyklus und darüber hinaus. Das CEval beriet Projektverantwortliche und deren Partner und bildete diese aus, um ihnen folgende Kompetenzen zu vermitteln:
Systematisches Monitoring und Evaluation von projektrelevanten Aktivitäten
Identifikation der wichtigsten Aspekte auf allen Wirkungsebenen
Formulierung wirkungsorientierter qualitativer Indikatoren
Entwurf eines Datenerhebungsplans und Erhebungsinstrumenten
Lösung auftretender Herausforderungen während der Datenerhebung und –analyse.
Dieser Wissenstransfer wurde erreicht durch eine Kombination von kontinuierlicher Beratung, Trainingsmaßnahmen und praktischer Umsetzung des Beratungs- und Trainingsinhalts im Rahmen einer begleiteten Baselinestudie (inklusive einer Geschlechteranalyse) und einer begleitenden Zwischen- und Schlussevaluierung. | 7/2011 | 7/2015 | Dr. Stefan Silvestrini | Plan International Deutschland e.V. |
Strengthening evaluation capacities within government and civil society in Uganda (ECD Uganda): Development of a blended-learning Master of Evaluation (2012-2015)Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: M.A. Sandra Schopper, M.Sc. Sophie Wannemacher Beschreibung In den letzten Jahren erfährt Evaluation als wissenschaftliches Verfahren zur Beschreibung und Bewertung von Interventionen weltweit einen Bedeutungszuwachs. Auch in Uganda steigt der Bedarf an qualifizierten Fachleuten im Bereich Evaluation an. Allerdings kann dieser Bedarf durch bisher aufgelegten Trainings- und Evaluationsprogramm nicht ausreichend gedeckt werden. Aus diesem Grund initiierte das BMZ gemeinsam mit dem CEval und der GIZ ein Programm zur Entwicklung von Evaluationskapazitäten(ECD) in Uganda.
Die wichtigste Komponente dieses Programmes ist die Entwicklung und Durchführung eines Masterstudiengangs in Evaluation im Blended-learning Format an der Uganda Technology and Management University (UTAMU). Blended-learning stellt ein innovatives Konzept dar, das sich weltweit steigender Popularität erfreut und an der UTAMU als Standardlehrverfahren eingeführt wurde. Dabei vereint Blended-learning didaktisch kohärent traditionelle Präsenzveranstaltungen mit modernen Formen des eLearnings. Ein Vorteil dieses Konzepts ist, dass durch dieses Konzept nicht nur Ugandische Studenten sondern auch Studenten aller englischsprachigen afrikanischen Länder angesprochen wurden.
Der Master of Evaluation der Saarland Universität sowie der HTW des Saarlandes dient als Vorlage für den ugandischen Master, der im Herbst 2015 eingeführt wurde. Die Inhalte des Masters wurden in enger Kooperation zwischen der CEval GmbH, den Dozenten des deutschen Masters und ugandischen Bezugspersonen an der Makarere Universität abgestimmt und an den ugandischen Kontext angepasst. Der ugandische Master of Monitoring and Evaluation umfasst insgesamt 15 Module, von denen sieben dem Basisprogramm zur Evaluation der saarländischen Hochschule entsprechen. Abgedeckt wurden dadurch alle relevanten Themen zum Erwerb profunder Evaluationskompetenzen. UTAMU hat diese durch weiterführende Module zum Projektmanagement, zum Monitoring und zur Existenzgründung von Consultings ergänzt. Die Module setzen sich im Groben aus Web based trainings, eTutoring und Präsenzveranstaltungen zusammen, wobei die Lehrkonzepte ebenfalls gemeinsam mit allen Akteuren entwickelt werden. Die Verantwortung für die technische Umsetzung der eLearning-Komponente oblag der GIZ.
Zwei Module des Masters of Evaluation wurden in einer Pilotphase gemeinsam mit UTAMU getestet. In dieser Pilotphase wurden sowohl das eTutoring als auch die Präsenzphasen im Sinne des Tandemprinzips von Dozenten der UTAMU und der Universität des Saarlandes/HTW betreut. Das "Hosting" des Online-Studiengangs wurde von der GIZ-Plattform gc21 übernommen. Anschließend wurden die sieben Module in den bereits bestehenden Master der UTAMU integriert und der neue Studiengang wurde den entsprechenden Gremien in Uganda vorgelegt. Mittlerweile ist der Studiengang in Uganda aggregiert und wurde im September 2015 testweise eingeführt. | 5/2012 | 6/2015 | Dr. Wolfgang Meyer | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
Externe Evaluation von vier Projekten im Bereich Bewusstseinsbildung und Erstellung eines SyntheseberichtsLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth, Selina Röhrig Beschreibung Als internationale christliche Entwicklungsorganisation hat sich die Christoffel Blindenmission (CBM) die Verbesserung der Menschenrechtssituation und die Inklusion von Menschen mit Behinderungen zum Ziel gesetzt. Dabei kommt der Bewusstseinsbildung als Komponente zahlreicher Entwicklungsprojekte eine wichtige Rolle zu. CBM Deutschland beauftragte das CEval mit der Evaluation von vier Projekten und der Erstellung eines Syntheseberichts, um mehr über die Implementierung von Bewusstseinsbildungsaktivitäten zu lernen, ihren Beitrag zu CBMs übergeordneten Zielen besser zu verstehen und nachzuvollziehen wie projekt-und länderspezifische Faktoren unterschiedliche Wirkungen produzieren.
Mit Kofinanzierung durch die Europäische Union oder das Bundesministerium für wirtschaftliche Entwicklung und Zusammenarbeit implementiert CBM Deutschland zwei Projekte in den Palästinensischen Gebieten (Gaza-Stadt und Gaza-Streifen), die an den Bedürfnisse von Menschen mit Hörbehinderung ansetzen, ein Projekt in Indien um die augenärztliche Versorgung im ländlichen Raum und die Rehabilitierung von Menschen mit Sehbehinderung zu verbessern und ein Projekt in Swasiland, dass sich für die Stärkung der Rechte von Menschen mit Behinderung und deren Inklusion einsetzt. Diese sehr unterschiedlichen Projekte erlaubten es die Thematik Bewusstseinsbildung von verschiedenen Perspektiven zu untersuchen und somit zu einem besseren Verständnis der verschiedenen Ansätze, zugrundeliegenden Wirkungsketten und (erwarteten) Wirkungen beizutragen. Während die Projekte in Gaza-Stadt und Indien einer Zwischenevaluation unterzogen wurden, wurde für die Projekte im Gaza-Streifen und in Swasiland eine Abschlussevaluation durchgeführt. | 6/2014 | 5/2015 | Dr. Susanne Johanna Väth | Christoffel-Blindenmission (CBM) |
Evaluation von CALIDENA – Partizipatives Instrument zur QualitätsinfrastrukturentwicklungLeiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Sandra Bäthge Beschreibung Das CEval wurde von der Physikalisch Technischen Bundesanstalt (PTB) mit der Evaluierung von CALIDENA beauftragt, einem partizipativen Instrument zur Unterstützung der systematischen und nachhaltigen Verbesserung von Qualitätsinfrastrukturen in Entwicklungsländern. Die Evaluierung zielt darauf ab, auf Grundlage bisher gesammelter Erfahrungen mit dem Instrument, relevante Informationen für dessen Weiterentwicklung und Übertragung auf neue Kontexte bereitzustellen.
Zu diesem Zweck wendet das CEval einen ausgewogenen Methodenmix an. Zur Informationsgewinnung werden qualitative Experteninterviews mit quantitativen Erhebungen, teilnehmenden Beobachtungen und Gruppeninterviews verbunden. Nach deren Auswertung werden die Ergebnisse in einem Bericht aufbereitet und präsentiert und fließen in eine übergeordnete Evaluationssynthese verschiedener Instrumente der PTB im Bereich Qualitätsinfrastrukturentwicklung ein, die ebenfalls vom CEval durchgeführt wird. | 8/2014 | 3/2015 | Dr. Stefan Silvestrini | Physikalisch-Technische Bundesanstalt (PTB) |
Entwicklung eines Handbuchs zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den KlimawandelLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth Beschreibung Projekte zur Anpassung an den Klimawandel benötigen ein methodisch ausgereiftes M&E-System, das sich nicht auf das Messen von Effekten auf Outputebene begrenzt, sondern Outcomes und Impacts sowie die Attribution von nachgelagerten Wirkungen zu den Projektaktivitäten berücksichtigt.
Die GIZ ist an das Centrum für Evaluation (CEval) mit Bitte um fachliche Unterstützung bei der Entwicklung eines praxistauglichen Ansatzes zur Impact Evaluation in diesem Bereich herangetreten. Zum einen hat das CEval verschiedene Designs der rigorosen Impact Evaluation zusammengestellt und zum anderen Beispiele zu deren Anwendbarkeit im Kontext von Anpassungsprojekten herausgearbeitet. Ergebnisse wurden in einem Handbuch zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel festgehalten. Das Handbuch richtet sich an Mitarbeiterinnen und Mitarbeiter der Ministerien, der Geberinstitutionen und anderer relevanter Organisationen, die Projekte zur Anpassung an den Klimawandel entwickeln, umsetzen, prüfen und verbessern wollen. | 12/2014 | 3/2015 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ), Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
Meta-Evaluierung: Evaluierungen in der Internationalen Entwicklungszusammenarbeit der Friedrich-Ebert-Stiftung (FES)Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth Beschreibung Um die eigene Arbeit kontinuierlich zu verbessern, um als Organisation aus gesammelten Erfahrungen Lernprozesse zu initiieren und um der Rechenschaftspflicht gegenüber dem Zuwendungsgeber nachzukommen, gibt die Abteilung Internationale Entwicklungszusammenarbeit (IEZ) der Friedrich-Ebert-Stiftung (FES) pro Jahr circa zehn externe Evaluierungen in Auftrag.
Im Rahmen einer Meta-Evaluierung wurde das Centrum für Evaluation (CEval) mit der Analyse von 18 Evaluierungsberichten beauftragt, die zwischen 2012 und 2014 in einer Phase erstellt wurden in der sich das Qualitätsmanagement der IEZ stark weiterentwickelt hat. Ziel der Meta-Evaluierung ist es systematische Stärken und Schwächen der gängigen Evaluierungspraxis zu identifizieren, daraus Erkenntnisse für die Verbesserung der Qualität von künftigen Evaluierungen abzuleiten und so deren Nützlichkeit für Projektleitungen und die zuständigen Referate zu erhöhen.
Während die Qualität der Evaluierungsberichte in einer Deskstudie analysiert wird, finden darüber hinaus vertiefende Experteninterviews und Fokusgruppendiskussionen innerhalb der FES statt um die Nützlichkeit der Evaluierungen zu bewerten. | 10/2014 | 2/2015 | Dr. Susanne Johanna Väth | Friedrich-Ebert-Stiftung (FES) |
Konzeption, (Erst-)Durchführung und Auswertung eines Expertenpanels in Chile zur Analyse qualitativer Rahmenfaktoren des Erneuerbaren Energien SektorsLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan Beschreibung Die Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) GmbH unterstützt im Auftrag des Bundesministeriums für Umwelt, Naturschutz, Bau und Reaktorsicherheit (BMUB) das Chilenische Energieministerium bei der Umsetzung von Maßnahmen zur Diversifizierung der Energieversorgung des Landes. Hierfür setzt die GIZ eine Reihe von Vorhaben um, zu denen auch ein Projekt zur Förderung des Ausbaus der Solarenergienutzung zählt. Zu Beginn des Projekts sollten die quantitativen und qualitativen Rahmenfaktoren erfasst werden, die Einfluss auf die Wirksamkeit und Nachhaltigkeit und damit die Zielerreichung des Projekts haben. Insbesondere für die Dokumentation der qualitativen Faktoren waren empirische Daten erforderlich, die im Rahmen eines Expertenpanels, also einer strukturierten Befragung von Energieexperten, erhoben werden sollten.
Die CEval GmbH erbrachte im Rahmen dieses Auftrags die folgenden Leistungen:
• Konzeptentwicklung: Festlegung der zu befragenden Experten in Abstimmung mit GIZ-Mitarbeitern, Erstellung strukturierter und an verschiedene Akteursgruppen angepasster Fragenkataloge, Konzeption der zukünftig periodisch durchzuführenden Panelerhebungen, methodisches Konzept zur längerfristigen Weiterführung des Expertenpanels
• Durchführung der Ersterhebung des Expertenpanels
• Auswertung, Nachbereitung und Berichterstattung der Ersterhebung des Expertenpanels
• Konzeptentwicklung zur Ableitung quantitativer Wirkungen basierend auf der qualitativen Erhebung unter Anwendung des von Stockmann entwickelten „Trichterverfahrens. | 11/2014 | 1/2015 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2013-2014)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung hat eine Förderung des weiblichen Führungsnachwuchses zum Ziel. Hierzu setzt das Programm auf Mentoringelemente – also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker – auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks.
Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das Centrum für Evaluation (CEval) zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im vierten Programmdurchlauf 2013-2014 findet nun eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Das bestehende und bewährte Evaluationskonzept wird im Rahmen der Evaluation inhaltlich durch eine Anwendung des CIPP-Modells geschärft, wobei jedoch eine Vergleichbarkeit von Evaluationsergebnissen seit Beginn des Karriereförderprogramms sichergestellt wird. Methodisch umfasst die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten. Dieses Vorgehen ermöglicht eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken. | 10/2013 | 11/2014 | Dr. Vera Hennefeld | Cusanuswerk - Bischöfliche Studienförderung |
Entwicklung eines Monitoring- und Evaluierungsrahmens für das Plan Projekt „Adolescent Boys: Champions of Change on Gender Equality and Girls’ Rights“Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan Beschreibung Plan International ist eine nicht-religiöse und nicht-politische Nichtregierungsorganisation welche sich für die dauerhafte Verbesserung der Lebensumstände von Kindern in Afrika, Asien und Lateinamerika einsetzt.
Um die Gleichberechtigung der Geschlechter zu fördern und Jungen und Männer in diese Arbeit zu involvieren, starteten Plan International Deutschland und Plan International Finnland zusammen mit vier Länderbüros aus Lateinamerika das Pilotprojekt „Adolescent Boys: Champions of Change on Gender Equality and Girls Rights“. Das Projekt bildete männliche Jugendliche zu Tutoren für Geschlechtergleichstellung aus und wurde in fünf Ländern umgesetzt: El Salvador, Guatemala, Honduras, Dominikanische Republik und Deutschland.
Das Centrum für Evaluation (CEval) evaluierte das Pilotprojekt mit Hilfe quantitativer und qualitativer Methoden, sammelte gemachte Erfahrungen und entwickelte einen Monitoring- und Evaluationsrahmen für die zukünftige Implementierung und Ausweitung des Projekts. | 6/2014 | 11/2014 | Dr. Stefan Silvestrini | Plan International Deutschland e.V. |
Evaluation des Mitarbeitergesprächs 2014 der Saarstahl AGLeiter: Dr. Stefan Silvestrini Beschreibung Im Jahr 2013 führte die Saarstahl AG auf Wunsch der Führungskräfte systematische Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung ein. Dieses partnerschaftliche, anlassunabhängige Vieraugengespräch wird nun jährlich zwischen Mitarbeitern mit Führungsverantwortung und deren Vorgesetzten durchgeführt, um eine verbesserte Ausrichtung auf die Ziele des Unternehmens und die Unternehmenskultur zu erreichen und eine Förderung der Mitarbeiter und Verbesserung der Zusammenarbeit innerhalb des Unternehmens zu realisieren.
Die Aufgabe der Evaluation des MAG 2014 war es zu prüfen, ob das MAG auch im zweiten Jahr erfolgreich von MitarbeiterInnen wie Führungskräften aufgenommen wird und ob erste Trends in der Akzeptanz und Umsetzung des MAG identifiziert werden können.
Ein besonderer Fokus lag dabei auf der Vorbereitung der Mitarbeiter auf das Gespräch (Schulungen, Materialien), die Umsetzung und Kommunikation von Zielvereinbarungen sowie Förder- und Entwicklungsmaßnahmen und der generellen Handhabbarkeit des Instruments hinsichtlich Inhalt und Struktur.
Darüber hinaus galt es zu bewerten, inwieweit das MAG als sinnvolles Instrument der Mitarbeiterführung angesehen wird und ob dadurch eine Verbesserung der Führungskultur im Unternehmen Saarstahl erreicht werden konnte. Ziel war es, das MAG in seiner gegenwärtigen Form zu bewerten und ggf. Optimierungspotenziale zu identifizieren.
Hierzu wurde von der CEval GmbH in Abstimmung mit der Saarstahl AG eine standardisierte Online-Befragung der MitarbeiterInnen des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Die im Rahmen der Evaluation erhobenen quantitativen Daten wurden dann im Rahmen der Berichtslegung unter Einbezug der Daten der MAG-Evaluation 2013 in einer Längsschnittanalyse ausgewertet. | 8/2014 | 11/2014 | Dr. Vera Hennefeld | Saarstahl AG |
Studie
„Gute Arbeit im Vollzug – eine Studie zu Arbeitsbedingungen und Gesundheit im saarländischen Justizvollzug“Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Vera Hennefeld Beschreibung Im Jahr 2011 wurde der Justizvollzug im Saarland einer Strukturreform unterzogen, die unter anderem mit einer Schließung von Teilanstalten einherging. Vor dem Hintergrund der seitherigen Veränderungen ist es Aufgabe der Studie, die Auswirkungen auf Arbeitsbedingungen, Arbeitsmotivation und Gesundheit der Beschäftigten des saarländischen Justizvollzugs zu analysieren. Auf Basis der Untersuchungsergebnisse sollen Empfehlungen zur Optimierung der Veränderungsprozesse abgeleitet und geeignete Maßnahmen für ein nachhaltiges anstaltsspezifisches Arbeits- und Gesundheitsmanagement aufgezeigt werden.
Die Datengewinnung basiert auf einem „mixed-methods“-Ansatz, d.h. es erfolgt eine vertiefende Analyse bereits vorhandener Dokumente und Daten und es werden Daten im Rahmen von qualitativen Befragungen (Leitfadeninterviews und Fokusgruppen) und einer quantitativen Befragung der Mitarbeiter des saarländischen Justizvollzugs erhoben und ausgewertet. | 2/2014 | 10/2014 | Dr. Vera Hennefeld | Ministerium der Justiz des Saarlandes |
Evaluation des Deutsch-Ägyptischen Forschungsfonds (GERF)Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth, Selina Röhrig Beschreibung Der Projektträger im Deutschen Luft- und Raumfahrtzentrum (DLR) setzt im Auftrag des Bundesministeriums für Bildung und Forschung (BMBF) die Programmaktivitäten des Deutsch-Ägyptischen Forschungsfonds (GERF) um. Die zu evaluierenden Programmaktivitäten umfassen zwei Förderrunden (GERF I: 2009-2011, GERF II: 2011-2013/14), in deren Rahmen deutsch-ägyptische Forschungsvorhaben in den Bereichen Biotechnologie, Energieeffizienz und erneuerbare Energien, Wasserentsalzung, Gesundheit sowie Management natürlicher Ressourcen finanziell unterstützt wurden.
Das CEval wurde sowohl mit der Ex-post- (bzgl. GERF I) als auch mit der Zwischenevaluation (bzgl. GERF II) beauftragt. Dementsprechend gilt es zum einen die durch GERF I erreichten Ziele und nachgelagerten Wirkungen sowie deren Nachhaltigkeit zu bewerten und zum anderen den Umsetzungsprozess des noch laufenden GERF II Programms hinsichtlich dessen Design und Effizienz zu untersuchen und auf Grundlage der Untersuchungsergebnisse Empfehlungen für die Fortführung von GERF II sowie die Konzeption zukünftiger Förderzyklen auszuarbeiten. | 4/2014 | 10/2014 | Dr. Stefan Silvestrini | Deutsches Zentrum für Luft- und Raumfahrt (DLR), Bundesministerium für Bildung und Forschung (BMBF) |
Evaluation des Blended-Learning Kurses „Qualitätsinfrastruktur für Nachhaltige Entwicklung“Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth Beschreibung Das Centrum für Evaluation (CEval) wurde von der Physikalisch-Technischen Bundesanstalt mit der Evaluation des Blended-Learning-Kurses „Qualitätsinfrastruktur für Nachhaltige Entwicklung“ beauftragt. Ziel des Kurses ist der Aufbau von individuellem Know-how und institutionellen Kapazitäten zur Verbesserung der Qualitätssicherung in Entwicklungsländern. Dabei stehen Standardisierung, Normierung und verwandte Themenfelder im Mittelpunkt.
Durch die Evaluation werden wichtige Erkenntnisse zur Verbesserung der Kursinhalte, der Umsetzung des Blended-Learning-Kurses, sowie zur Ausweitung des Kursangebots gewonnen. | 4/2014 | 8/2014 | Dr. Stefan Silvestrini | Physikalisch-Technische Bundesanstalt (PTB) |
Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Wolfgang Meyer, Dr. Stefan Silvestrini Beschreibung Das Vorhaben „Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)“ der Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH zielt darauf ab, die Rolle der Evaluation bei der politischen Entscheidungsfindung und der Steuerung von Politikmaßnahmen in Costa Rica und ausgewählten Ländern Zentralamerikas zu stärken. Die Maßnahme ist als Regionalvorhaben konzipiert, dessen politische Trägerschaft beim costaricanischen Ministerium für nationale Planung und Wirtschaftspolitik (MIDEPLAN) liegt.
Aufgabe der CEval GmbH ist es im Rahmen des ECD-Vorhaben, vor Ort eine Reihe von Fortbildungen zum Thema Monitoring und Evaluation (M&E) auf verschiedenen Anspruchsniveaus für die Partnerstrukturen zu realisieren, wobei die Inhalte der bereits erprobten und mehrfach durchgeführten Kurse dabei die unterschiedlichen Bedarfe der Zielgruppen widerspiegeln. Darüber hinaus bietet die CEval GmbH eine kontinuierliche wissenschaftlichen Begleitung für das Regionalvorhaben an, welche eine permanente Anbindung an die aktuelle internationale Evaluationsdiskussion sicherstellt und die Verbindung zu wissenschaftlichen Organisationen und Netzwerken aufrechterhält. Sie umfasst eine Reihe von Beratungsleistungen, insbesondere bei der Strategie- und Konzeptentwicklung, die auf den neuesten wissenschaftlichen Erkenntnissen der Monitoring- und Evaluationsforschung basiert. | 7/2011 | 7/2014 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
Barrieren für Hochschulabsolventen am Arbeitsmarkt der GroßregionLeiter: Univ.-Prof. Dr. Eike Emrich Beschreibung Die Kooperationsstelle Wissenschaft und Arbeitswelt (KoWA) der Universität des Saarlandes hat in Zusammenarbeit mit der Arbeitskammer des Saarlandes die Forschungsausschreibung „Arbeitsmarkt für Hochschulabsolventinnen und -absolventen in der Großregion“ vorbereitet. Bezogen auf den Verwertungszusammenhang soll diese Studie Erkenntnisse zu Fragen der Chancen von Hochschulabsolventen im saarländischen Arbeitsmarkt liefern und dabei die fördernden und hemmenden Rahmenbedingungen für den Eintritt in den saarländischen und grenzüberschreitenden Arbeitsmarkt untersuchen. Aufgrund eigener Forschungsarbeiten ist bereits bekannt, dass sich die grenzüberschreitende Berufseinmündung für Hochschulabsolventen trotz einer Reihe von Fachvermittlungsstellen und Studiengängen, die unter Beteiligung mehrerer Hochschulen in der Großregion durchgeführt werden, sehr schwierig darstellt.
Eine umfassende repräsentative Befragung von Absolventen saarländischer Hochschulen zu den Motiven und Hinderungsgründen, die bei der Berufseinmündung für oder gegen ein Suchen auch im benachbarten Ausland sprechen, wurde bisher noch nicht durchgeführt. Insbesondere fehlen außerdem Informationen zum umgekehrten Weg, also zu den Hochschulabsolventen in Lothringen, Luxemburg und der Wallonie, die sich im Saarland um einen Arbeitsplatz bemühen. Hier sollen im Rahmen des Forschungsprojektes die Datenlücken so weit wie möglich geschlossen werden. Dazu sollen zunächst alle Absolventen der Universität des Saarlandes der letzten acht Jahre in Form einer Absolventenstudie befragt werden. Die Absolventen erhalten eine Einladung per E-Mail und auch per Postkarte, welche an die Heimatadresse der Absolventen versendet wird, zur Teilnahme an einer Online-Befragung. Weitere Absolventenstudien an anderen Universitäten der Großregion sind geplant. | 5/2013 | 7/2014 | Dr. Wolfgang Meyer | Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA), Arbeitskammer des Saarlandes (AK) |
Unabhängige Evaluierungen 2013/2014 im Sektor Ländliche Entwicklung: Management und Nutzung natürlicher Ressourcen, sowie Kapazitätenaufbau in ZentralamerikaLeiter: Dr. Stefan Silvestrini Beschreibung Im diesem Zyklus der Unabhängigen Evaluierungen werden drei GIZ-Entwicklungsmaßnahmen durch das CEval evaluiert:
- Förderung nachhaltiger Ressourcennutzung und lokale wirtschaftliche Entwicklung in Honduras (PRORENA), Honduras
- Nachhaltiges Ressourcenmanagement und Förderung unternehmerischer Kompetenzen (MASRENACE), Nicaragua
- Entwicklung und Stärkung von Kompetenzen und Kapazitäten zum Management natürlicher Ressourcen in Zentralamerika (Alianza de Aprendizaje)
Ziel der Evaluierung ist es, ein vollständiges Bild der eingetretenen (positiven wie negativen, intendierten und nicht-intendierten) Veränderungen zu liefern (-->Ermittlung der Wirkungsbilanz). Dabei folgt das Vorgehen der Logik eines „Trichteransatzes“, indem es zunächst alle für den Sektor relevanten Veränderungen erfasst und in einem zweiten Schritt analysiert, welche dieser Veränderungen ursächlich mit den Programminterventionen in Zusammenhang stehen (-->Wirkungsattribution).
Zur Informationsgewinnung und zur Herstellung der kontrafaktischen Situation wendet das CEval einen ausgewogenen Methodenmix an. Dabei erfüllt das CEval u.a. folgende Leistungen:
- Entwicklung eines übergeordneten Wirkungsmodells der drei Vorhaben aus den Projektdokumenten, das der Bewertung der Evaluierung zugrunde liegt,
- Durchführung von qualitativen Interviews mit Schlüsselakteuren und Fokusgruppeninterviews mit Zielgruppen,
- Umsetzung quantitativer Befragungen auf Zielgruppenebene,
- bio-technische Analysen von Bodenproben und Biodiversitätsfaktoren (wie z.B. Erhebung der Bestandsgrundfläche und Anzahl der Baumarten).
Im letzten Schritt werden die Querschnittsauswertungen aller drei Entwicklungsmaßnahmen in einem Synthesebericht zusammengefasst. | 9/2013 | 7/2014 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
Energising Development (EnDev) Herdstudie in ÄthiopienLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Stefan Silvestrini Beschreibung Das GIZ-Projekt „Energising Development“ (EnDev) ist eine gemeinsame Initiative der Regierungen Australiens, Deutschlands, der Niederlande, Norwegens und des Vereinten Königreichs. Gegenstand der Studie ist das Energy Coordination Office (ECO) in Äthiopien, ein Teilprojekt von EnDev. ECO (oder EnDev Ethiopia) hat zum Ziel, einen kommerziellen Sektor und nachhaltigen Markt für energieeffiziente Kochherde in Äthiopien aufzubauen. Dabei fokussiert sich der Projektansatz sowohl auf die Stärkung der Angebotsseite durch die Verbesserung der betriebswirtschaftlichen und technischen Fähigkeiten von Herdproduzenten, als auch auf die Stimulation der Nachfrage seitens der Haushalte in Äthiopien.
Im Rahmen einer umfangreichen Herdstudie wird die Zielerreichung des ECO-Projektes in drei Projektregionen untersucht. Die Studie verfolgt somit folgende Ziele
- die Nachhaltigkeit von ECOs Interventionen in drei Projektregionen unter Anwendung der EnDev-internen Nachhaltigkeitskriterien und anhand des HERA-Nachhaltigkeitsansatzes (HERA – Poverty-Oriented Basic Energy Services) zu analysieren und bewerten,
- Empfehlungen für die zukünftige Steuerung der EnDev-Projekte anhand der Ergebnisse zu generieren.
Ergänzend zu einer Dokumentenanalyse von relevanten Projekt- und Sektorpapieren werden vor Ort standardisierte und qualitative Daten zur Datentriangulation erhoben. Das CEval unterstützt mit seiner Methodenexpertise in Datenerhebung und -auswertung die Durchführung der Studie. | 10/2013 | 7/2014 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
Durchführung einer Mitgliederbefragung von IMMOEBS e.V.Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Vera Hennefeld Beschreibung IMMOEBS e.V. ist der Verein der Ehemaligen und Förderer der Post-Graduate- und Masterstudiengänge zur Immobilienökonomie an der European Business School und der Universität Regensburg. IMMOEBS wurde 1991 gegründet und hat derzeit ca. 2.600 Mitglieder; es ist damit das größte Alumni-Netzwerk der Immobilienwirtschaft in Deutschland.
IMMOEBS hat das CEval mit einer Mitgliederbefragung beauftragt. Übergeordnetes Ziel der als Online-Erhebung angelegten Befragung ist es, die Bewertung von IMMOEBS und seinen Aktivitäten durch die Mitglieder zu erfassen und Entwicklungspotenziale und eventuelle Anpassungsbedarfe zu identifizieren. | 2/2014 | 6/2014 | Dr. Vera Hennefeld | IMMOEBS e.V. |
UNICEF-Mehrländer-Evaluation zu Inklusion aller Kinder in qualifiziertes Lernen in MOEL/GUS StaatenLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan Beschreibung Die Evaluation bewertet (i) inwiefern UNICEF einen Beitrag geleistet hat, damit die Programminterventionen sich mit wichtigen Kinderrechtsverletzungen im Bereich Bildung befasst, Gleichheitsdiskrepanzen verringert und zu Wirkungen zur Verbesserung der Situation von Kinder geführt haben. Fernerhin, werden (ii) Lehren aus den Lernpraktiken, -innovationen und –modelle gezogen, die für zukünftige Steuerungsprozesse innerhalb UNICEF zur Verfügung gestellt werden.
Der Evaluation liegen daher folgende Ziele zugrunde:
- nachzuweisen und zu dokumentieren welche Veränderungen im Leben von Kindern in den letzten zehn Jahren stattgefunden haben,
- zu bewerten und zu demonstrieren wie diese Wirkungen durch Systemveränderungen zustande gekommen sind, und
- den Beitrag UNICEFs zu diesen Systemveränderungen zu dokumentieren.
Zudem beachtet die Evaluation folgende Aspekte bei der Wirkungsbilanzierung:
- Kontextangemessenheit (bezüglich der Anpassung von Programmansätzen an qualitative Unterschiede);
- Koordination (mit anderen Stakeholder);
- (iii) Koheränz (über verschiedene Politiken und anderen unterstützenden Interventionen); und
- Schutz (im Sinne von Angemessenheit von jeweiligen Bildungssystemen auf den Schutz von vulnerablen Gruppen).
Letztlich, leistet die Evaluation einen Beitrag dazu, dass zukünftige Programme verbessert werden, indem sie verschiedene Kindergruppen berücksichtigen, die gefährdet sind die Schule abzubrechen bzw. der Schule fernzubleiben. | 7/2013 | 6/2014 | Dr. Stefan Silvestrini | United Nations International Children's Fund (UNICEF) |
Meta-Evaluation von 34 Evaluationsberichten zu den Regional-Entwicklungsprogrammen von World Vision DeutschlandLeiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth Beschreibung World Vision Deutschland hat das CEval beauftragt 34 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel ist es dabei, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.
Methodisch konzentriert sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die Evaluationskriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit des OECD/DAC anlehnt. In einem ersten Schritt werden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, sowie Identifizierung des Programmbeitrags anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert werden.
Darüber hinaus unterstützt das CEval WVD bei der Entwicklung seines Wirkungsberichts in Form von kritischer Kommentierung sowie Beratung zu methodischen Aspekten. | 4/2014 | 6/2014 | Dr. Stefan Silvestrini | World Vision Deutschland e.V. (WVD) |
Unterstützung der Qualitätssicherungsprozesse des SIAPLeiter: Dr. Stefan Silvestrini Beschreibung Das Saarländische Institut zur Aus- und Weiterbildung in Psychotherapie (SIAP) wurde 1995 gegründet und gehört zur Saarland Heilstätten GmbH (SHG). Das Institut ist eine staatlich anerkannte Ausbildungsstätte unter anderem für Psychologische Psychotherapeuten und Kinder- und Jugendpsychotherapeuten.
Aufgabe der seitens des SIAP beauftragten Beratung, die auch eine Evaluation einschloss, war es für die beiden Ausbildungen a) Verbesserungspotentiale innerhalb der Ausgestaltung der Ausbildung aufzudecken und b) zur Qualitätssicherung der Kurse einen Fragebogen zu entwickeln.
Dafür wurden neben einer vertiefenden Analyse vorhandener Akten, Programmdokumente und der einschlägigen Literatur vor allem Leitfaden- und Gruppeninterviews mit den Ausbildungsteilnehmern (aus unterschiedlichen Ausbildungsstufen), den Praxisanleitern, den Dozenten und Supervisoren – und damit mit allen an der Ausbildung beteiligten Akteuren – durchgeführt.
Besonders im Fokus stand dabei die Frage, inwieweit die Ausbildungsabsolventen durch Optimierungen der Ausbildungsprozesse entlastet und gleichzeitig zielgerichteter auf eine Tätigkeit in der therapeutischen Praxis vorbereitet werden können. Alle Daten wurden einer synergetischen Datenauswertung unterzogen und mündeten in einem kurzen Evaluationsbericht inklusive Empfehlungen zur Weiterentwicklung der Ausbildung.
Daran anschließend wurde ein Fragebogen zur fortlaufenden Qualitätssicherung der Ausbildungskurse entwickelt, in den neben den Ergebnissen aus der Literaturanalyse die Erkenntnisse aus den qualitativen Interviews einflossen. Damit die Datenerhebungen sowie deren Auswertung von den Mitarbeitern des Instituts auch nach Beendung des Evaluationsprojekts in Eigenregie erfolgen können, wurde im Rahmen des Vorhabens zusätzlich ein Leitfaden entwickelt. | 6/2013 | 3/2014 | Dr. Vera Hennefeld | Saarländisches Institut zur Aus- und Weiterbildung in Psychotherapie (SIAP) |
DAAD-Stipendienprogramm „Deutsche Auslandsschulen“Leiter: Dr. Stefan Silvestrini Beschreibung Das DAAD-Stipendienprogramm „Deutsche Auslandsschulen“ besteht seit 2001; seit 2008 ist das Programm in die Initiative „Schulen: Partner der Zukunft“ (PASCH) des Auswärtigen Amts eingebettet. Ziel des Programms ist es, den leistungsstärksten Absolventinnen und Absolventen deutscher Auslands- und Sprachdiplomschulen (seit 2004) sowie im Einzelfall auch sog. Fit-Schulen (seit 2010) im direkten Anschluss an die schulische Ausbildung eine stipendienfinanzierte akademische Ausbildungsperspektive in Deutschland zu bieten und sie so an den Wissenschafts- und Wirtschaftsstandort Deutschland zu binden. Auf diese Weise sollen Multiplikatoren für deutsche und bilaterale Anliegen in Wissenschaft, Wirtschaft, Politik und Kultur gewonnen werden.
Aufgabe der seitens des DAAD beauftragten Evaluation ist neben der Bewertung der Zielerreichung die Beurteilung wesentlicher Parameter der Programmförderung sowie der Programmdurchführung. Eine wichtige Rolle spielt dabei auch die Frage, wie sich das Stipendienprogramm in die PASCH-Initiative integriert. Ausgehend von den Ergebnissen der Evaluation werden Empfehlungen für die Weiterentwicklung des Programms und seine Vernetzung mit anderen DAAD- und PASCH-Maßnahmen entwickelt.
Zur Datengewinnung folgt die CEval GmbH einem „mixed-methods“ Ansatz. Neben der vertiefenden Analyse vorhandener Programmdokumente beinhaltet dieser die Durchführung einer Reihe von Leitfadeninterviews mit verschiedenen Stakeholdern sowie die Umsetzung mehrerer standardisierter Online-Befragungen und eine teilnehmende Beobachtung. | 12/2012 | 2/2014 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
Entwicklung und Umsetzung eines gendersensitiven kontinuierlichen M&E-Systems für das Plan Indien Projekt „ENGENDERED! – Minimizing Gender Gap…“Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Stefan Silvestrini, Dipl.Reg.Wiss. Christina Gollan Beschreibung Ziel des von Plan International Indien umgesetzten Projekts ist es, die strukturellen Ursachen für die Benachteiligung von Frauen in der indischen Gesellschaft zu identifizieren und zu beseitigen. Hierfür sollen alle Projektverantwortlichen der Partnerorganisationen zur Umsetzung gender-gerechter Maßnahmen sowie zum Monitoring und zur Evaluation der damit erzeugten Wirkungen befähigt werden.
Aufgabe des CEval war es, die Entwicklung überprüfbarer Wirkungshypothesen zu unterstützen, gemeinsam mit den Verantwortlichen ein praktikables M&E-System zu erarbeiten sowie eine Zwischen- und eine Abschlussevaluation umzusetzen. Hierfür wurde zu Beginn des Projekts Ende 2008 ein Workshop durchgeführt, in dem der zuvor von Plan Indien entwickelte LogFrame diskutiert und im Hinblick auf die Messbarkeit der darin enthaltenen Indikatoren überarbeitet wurde. Als weitere Maßnahmen wurden 2009 eine Schulung vor Ort sowie weitere Beratungsleistungen im Projektverlauf durchgeführt. 2015 führte das CEval eine Abschlussevaluation des Projektes durch. | 10/2008 | 12/2013 | Dr. Stefan Silvestrini | Plan International Deutschland e.V. |
Hands-On Methods to Measure Development
Effectiveness and Enhancing Knowledge-SharingLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Ziel des Vorhabens ist die Stärkung der Kompetenzen der Programmpartner des United Nation’s International Fund for Agricultural Development (IFAD) in Ländern der North Africa Division im Bereich Monitoring und Evaluation (M&E). In einer ersten Phase werden hierzu im Rahmen zweier Pilotstudien in Süd-Sudan und Albanien die dort eingesetzten Monitoring- und Evaluationsverfahren auf ihre Angemessenheit und Vollständigkeit hin untersucht und zu umfassenden M&E-Systemen weiterentwickelt. Die dabei gewonnenen Erkenntnisse hinsichtlich Ergebnisqualität und Handhabbarkeit werden anschließend systematisch aufbereitet und in einem zweiten Schritt auf ihre Übertragbarkeit auf andere Länder hin untersucht. Damit sollen weitere Projektträger und nationale Institutionen in die Lage versetzt werden, eigenständig Daten zu erheben, zu analysieren und zu bewerten, die ihnen Aufschluss über die Wirkungen und Nachhaltigkeit ihrer Projekte geben.
Schließlich werden daraus praktische Handlungsleitfäden für die Erfassung von Wirkungen von Programmen in den Bereichen ländliche Entwicklung und Armutsminderung entwickelt und im Rahmen von überregionalen Informationsveranstaltungen sowie im Internet weiter verbreitet. Bei dem Vorhaben kooperiert das CEval mit der Arbeitsgemeinschaft Entwicklungspolitischer Gutachter (AGEG), die ihrerseits hierfür Sektorexperten einsetzt. | 3/2011 | 12/2013 | Dr. Stefan Silvestrini | International Fund for Agricultural Development (IFAD) |
Saarländische Studierende als ökonomischer StandortfaktorLeiter: Univ.-Prof. Dr. Eike Emrich Beschreibung Hochschulen sind aus mehreren Gründen wichtige ökonomische Faktoren für die Region, in welcher sie angesiedelt sind, und stellen dort einen wesentlichen Standortfaktor dar. Dies gilt zum einen unmittelbar durch das wirtschaftliche Potential der beschäftigten Mitarbeiter und Studierenden, die in Form privaten Konsums Nachfrageeffekte vorrangig in der Region erzeugen und zum anderen durch Infrastrukturinvestitionen (z.B. Baumaßnahmen) der Hochschulen sowie die bevorzugte Ansiedlung von Unternehmen aus know-how-intensiven Branchen.
Neben diesen unmittelbaren, direkten und indirekten sozioökonomischen Effekten erbringen jedoch Hochschulen mittel- und langfristig einen Nutzen, der für die regionale Wirtschafts und Kulturentwicklung insbesondere unter den Bedingungen des demographischen Wandels von zentraler Bedeutung ist. Hochschulen ziehen als attraktive Bildungsstätten junge, begabte Personen aus anderen Regionen an, die zum Teil nach ihrem Studium langfristig dem lokalen saarländischen Arbeitsmarkt als hochqualifizierte Fachkräfte zur Verfügung stehen („Pull-Effekte“).
Den „Pull-Effekten“ stehen jedoch auch „Push-Effekte“ entgegen, welche aus Sicht der Region die Rendite der geleisteten Ausbildungsinvestitionen verringern, ja mittelfristig sogar abhängig vom Ausmaß zu einer negativen Bilanz führen können. Wenn in einer Region keine adäquaten Beschäftigungsmöglichkeiten für die Ausbildungsleistungen der Hochschule vorhanden sind oder das Lohnniveau deutlich unterdurchschnittlich liegt, kann es trotz hoher Exzellenz von Forschung und Lehre zu Abwanderungstendenzen hochqualifizierter Absolventen kommen.
Neben Experteninterviews, die mit Studierenden, Vertretern aus der Politik und Personalverantwortlichen aus Unternehmen geführt wurden, war das Ziel der quantitativen Studierendenbefragung eine umfassende Erfassung der Faktoren, die zur ökonomischen Bewertung der Studierenden notwendig war. | 12/2011 | 12/2013 | Dr. Wolfgang Meyer | Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA), Arbeitskammer des Saarlandes (AK) |
Evaluation der Umsetzung des
internetstrategischen Konzepts „Länderportale als interkulturelle Begegnungsplattform“Leiter: Dr. Stefan Silvestrini Beschreibung Gegenstand der Evaluation ist die Umsetzung des
internetstrategischen Konzepts des Goethe Instituts (GI) „Länderportale als interkulturelle Begegnungsplattform“. Dieses Konzept ist seit 2011 für das GI handlungsleitend und folgt dem Leitgedanken, dass
- Interkulturalität und Dialog als Wirkprinzipien des Goethe-Instituts zu sehen sind,
- das Erlebnis der Begegnung durch Multimedia und Online-Interaktion bedeutsam ist,
- das Online-Angebot im Sinne einer Plattform durch (eine gewisse) Reichhaltigkeit und Dauerhaftigkeit gekennzeichnet ist und
- die Nutzer sich beteiligen und Inhalte beitragen können.
Die interkulturellen Begegnungsplattformen zielen somit sowohl auf Informationsvermittlung als auch auf interkulturelle Sensibilisierung und interkulturellen Austausch.
Im Rahmen der Evaluationsstudie soll untersucht werden, ob die mit den Länderportalen angestrebten Ziele und die vorgesehen Zielgruppen erreicht werden. Zudem soll die Effektivität der Länderportale hinsichtlich der Informationsvermittlung und des interkulturellen Austauschs analysiert werden. Aus den dabei gewonnenen Erkenntnissen ist des Weiteren die Ableitung von konkreten Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Konzepts bzw. der Länderportale vorgesehen.
Zur Datengewinnung folgt das CEval einem „mixed-methods“-Ansatz. Dabei wird eine vertiefende Analyse bereits vorhandener Dokumente und Daten aus einer Online-Befragung des GI vorgenommen. Zudem werden eigene Erhebungen (qualitative Leitfadeninterviews) durchgeführt. | 10/2013 | 12/2013 | Dr. Vera Hennefeld | Goethe-Institut e.V. |
Lab2Venture: Unternehmerisches Denken und Handeln in Lernort LaborenLeiter: Dr. Stefan Silvestrini Beschreibung Das von der Deutschen Kinder- und Jugendstiftung (DKJS), dem LernortLabor des Bundesverbandes der Schülerlabore e.V. (LeLa) und des TheoPrax-Zentrums des Fraunhofer Instituts für Chemische Technologie (TheoPrax) durchgeführte Vorhaben "Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren" zielte darauf ab, Schülerlabore in die Lage zu versetzen, interessierte Schülerinnen und Schüler nicht nur in naturwissenschaftlicher Projektarbeit zu begleiten, sondern darüber hinaus dahin zu führen, dass sie eine Unternehmensgründung als realisierbar erkennen.
Insgesamt wurden über die drei Module hinweg bundesweit zehn Schülerlabore bei der Verknüpfung von naturwissenschaftlich-technisch orientierten Themen mit der Wirtschaftswelt sowie beim Aufbau von Schülerfirmen über einen Zeitraum von gut einem Jahr begleitend unterstützt. Zielgruppen des Vorhabens waren primär ca. 200 14-17jährige Jugendliche, die während Modul II in den ausgewählten Schülerlaboren experimentierten, forschten und Produktideen entwickeln sollten.
Des Weiteren gehörten auch die Mitarbeiter in den Laboren (d.h. Wissenschaftler, Laborangestellte sowie Lehrer und studentische Hilfskräfte) zu den Zielgruppen. Langfristig sollten die Mitarbeiter über das Projekt hinaus als Multiplikatoren für die Weiterverbreitung des unternehmerischen Handlungswissens im Rahmen ihrer Lehrtätigkeit fungieren.
Ziel der Evaluation war es, unter Einbezug der Beteiligten systematisch Rückmeldungen und Anmerkungen über das Projekt zu gewinnen und diese mit der qualitativen Zielerreichung in Beziehung zu setzen. Ein besonderes Augenmerk wurde dabei auf die Prozessorientierung gelegt, die zur Weiterentwicklung sowie der möglichen Ausweitung des Vorhabens, nach dem Ende der Modellphase in Dezember 2013, beitragen sollte. Aufgabe der Evaluation war es entsprechend zu überprüfen, inwieweit die Zielsetzungen für beide o.g. Zielgruppen erreicht wurden, also in welchem Maße unternehmerische Themen erlernt, angewendet, beherrscht, weiterverfolgt etc. wurden.
Für die prozessorientierte Evaluation des Lab2Venture Projekts wendete die CEval GmbH ein Paneldesign an, welches auf einer Kombination aus qualitativen und quantitativen Datenerhebungs- und auswertungsverfahren fußte. die Datenerhebung erfolgte projektbegleitend an drei Erhebungszeitpunkten. | 1/2013 | 12/2013 | Dr. Stefan Silvestrini | Deutsche Kinder- und Jugendstiftung e.V. (DKJS) |
Wirkungsevaluierung der Aktivitäten der HSS im Bereich „Civic Education“ in KeniaLeiter: Dr. Stefan Silvestrini Beschreibung Die Hanns-Seidel-Stiftung (HSS) ist seit mehr als 35 Jahren in der Entwicklungszusammenarbeit aktiv und arbeitet seit 1987 im Rahmen ihres Regionalprojekts Ostafrika in Kenia. 2013 sollen nun erstmals die Aktivitäten im Bereich Civic Education in Kenia einer Wirkungsevaluierung unterzogen werden. Diese Aktivitäten umfassen in erster Linie Weiterbildungsseminare zur politischen Bildung.
Primäres Ziel der Wirkungsevaluierung ist es, einen empirisch und methodisch fundierten Nachweis über die Wirksamkeit der Weiterbildungsseminare der HSS in Kenia zu liefern sowie die zu erwartende Nachhaltigkeit der erzeugten Wirkungen abzuschätzen. Dabei sollen auch die Effizienz der Maßnahmenumsetzung sowie deren Relevanz für die Partner und Zielgruppen bewertet werden.
Zur Beantwortung der Evaluationsfragen wurde ein aufwändiges quasi-experimentelles Design gewählt, das sich durch mehrere Messzeitpunkte und die Einbeziehung von zwei Vergleichsgruppen auszeichnet. Durch die verschiedenen Messzeitpunkte können direkte Effekte der Maßnahmen sowie die Veränderung dieser Effekte über einen längeren Zeitraum hinweg beobachtet werden (follow-up). Der Vergleichsgruppenansatz ermöglicht, externe Effekte auf die Zielgruppe auf lokaler und nationaler Ebene zu kontrollieren. Die Datenerhebung erfolgt durch ein Team Studierender der Universität Nairobi, die speziell für diese Aufgabe durch das CEval ausgebildet werden. | 5/2013 | 11/2013 | Dr. Stefan Silvestrini | Hanns-Seidel-Stiftung (HSS) |
Independent Evaluation of the NDPHSLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Das 2003 gegründete Netzwerk ‘Northern Dimension Partnership in Public Health and Social Well-Being’ (NDPHS) zielt auf eine Verbesserung der gesundheitlichen und sozialen Bedingungen in den Ländern des Northern Dimension Area ab und legt hierbei seinen Schwerpunkt auf die nordöstlichen Länder Europas.
Aufgabe der unabhängigen Evaluation des Netzwerks war es, die NDPHS-Aktivitäten der ersten fünf Jahre seit Bestehen des Netzwerks zu analysieren und Empfehlungen zu dessen Weiterentwicklung zu erarbeiten. Hierbei standen die Struktur und Organisation des Netzwerks, dessen politische Bedeutung sowie Wahrnehmung und die Identifikation wichtiger politischer, technischer und administrativer Handlungsfelder im Zentrum des Interesses.
Zur Datenerhebung wurden Sekundäranalysen, Intensivinterviews mit ausgewählten Netzwerkpartnern sowie eine standardisierte Befragung mit Vertretern aller beteiligten Länder eingesetzt. | 12/2012 | 10/2013 | Dr. Vera Hennefeld | Northern Dimension Partnership in Public Health and Social Well-Being (NDPHS) |
Evaluation des Mitarbeitergesprächs 2013 der Saarstahl AGLeiter: Dr. Stefan Silvestrini Beschreibung Im Jahr 2013 führte die Saarstahl AG auf Wunsch der Führungskräfte systematische Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung ein. Dieses partnerschaftliche, anlassunabhängige Vieraugengespräch wird nun jährlich zwischen Mitarbeitern mit Führungsverantwortung und deren Vorgesetzten durchgeführt, um eine verbesserte Ausrichtung auf die Ziele des Unternehmens und die Unternehmenskultur zu erreichen und eine Förderung der Mitarbeiter und Verbesserung der Zusammenarbeit innerhalb des Unternehmens zu realisieren.
Die Aufgabe der Evaluation des MAG 2013 war es zu prüfen, ob die Einführung des MAG erfolgreich verlaufen ist. Besonderer Fokus lag dabei auf der Vorbereitung der Mitarbeiter auf das Gespräch (Schulungen, Materialien) sowie auf der Handhabbarkeit des Instruments hinsichtlich Inhalt und Struktur. Darüber hinaus galt es zu bewerten, inwieweit das MAG als sinnvolles Instrument der Mitarbeiterführung angesehen wird und ob dadurch eine Verbesserung der Führungskultur im Unternehmen Saarstahl erreicht werden konnte. Ziel war es, das MAG in seiner gegenwärtigen Form zu bewerten und ggf. Optimierungspotenziale zu identifizieren.
Hierzu wurde von der CEval GmbH in Abstimmung mit der Saarstahl AG eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Im Vorfeld dazu wurden leitfadengestützte Interviews unter anderem mit für die Implementierung verantwortlichen Personen sowie mit ausgewählten Mitarbeitern unterschiedlicher Hierarchieebenen des Unternehmens geführt. | 6/2013 | 10/2013 | Dr. Vera Hennefeld | Saarstahl AG |
Entwicklung und Implementierung eines Monitoring- und Evaluations (M+E)-Systems für die Weiterbildungsaktivitäten der Aktien-Gesellschaft der Dillinger HüttenwerkeLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M+E-Systems
Ziel des zweiten Teilprojekts war es, ein kontinuierliches Monitoring- und Evaluationssystem (M+E) für interne und externe Weiterbildungen zu entwickeln und zu implementieren, welches die Dillinger Hütte dazu in die Lage versetzt, selbst regelmäßige M+E-Aktivitäten durchzuführen, die erhobenen Daten zu analysieren und zu verwerten.
In diesem Zusammenhang wurden gemeinsam mit der Dillinger Hütte geeignete Erhebungsinstrumente entwickelt und ein Instrument zur technischen Umsetzung von Befragungen eingeführt. Darüber hinaus wurden Schulungen sowohl zur Handhabung des Instruments als auch zur Datenauswertung und -interpretation durchgeführt. | 7/2011 | 8/2013 | Dr. Vera Hennefeld | AG der Dillinger Hüttenwerke |
Grenzüberschreitende Koordination und Kooperation in interregionalen Organisationen am Beispiel Interregionaler GewerkschaftsräteLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Dieses Forschungsprojekt widmete sich der grenzüberschreitenden Zusammenarbeit von Gewerkschaften auf regionaler Ebene, indem es die historische Entwicklung sowie die Funktionsweisen und Problemlösungspotenziale des IGR Saar-Lor-Lux-Trier/Westpfalz vertiefend untersuchte und mit drei weiteren Interregionalen Gewerkschaftsräten verglich. Auf einem institutionalistischen Ansatz aufbauend, wurde in dem Forschungsprojekt ein theoretischer Rahmen entwickelt, der drei Faktorenbündel identifiziert, um vor dem Hintergrund der Entstehung, Entwicklung und Funktionsweise das Problemlösungspotenzial Interregionaler Gewerkschaftsräte zu erfassen: Die strukturelle Einbettung eines IGRs in unterschiedliche nationale Arbeitsmärkte und Wohlfahrtsregime, die Arbeitsbeziehungen und Gewerkschaftsstrukturen in den einzelnen Regionen sowie die interkulturelle Kommunikation und unterschiedliche Gewerkschaftskulturen zwischen den Gewerkschaften, die zusammen einen IGR bilden. | 11/2011 | 8/2013 | Dr. Wolfgang Meyer | Hans-Böckler-Stiftung |
Evaluation des Verfahrens zur Erstsemesterauswahl des CusanuswerkesLeiter: Dr. Stefan Silvestrini Beschreibung Das Cusanuswerk führt seit 2009 parallel zum bestehenden Grundauswahlverfahren ein neues Verfahren zur Stipendiatenauswahl, die sog. Erstsemesterauswahl, durch. Dieses komprimierte Verfahren, welches sich noch in der Pilotphase befindet, soll einen deutlich früheren Zugang zur Förderung durch das Cusanuswerk ermöglichen. Nachdem nun drei Kohorten bei der Erstsemesterauswahl aufgenommener Stipendiaten den endgültigen Aufnahmeprozess durch die festen Gremien durchlaufen haben, soll das Erstsemesterauswahlverfahren evaluiert werden.
Aufgabe der seitens des Cusanuswerkes beauftragten Evaluation ist die Bewertung der prognostischen Validität des Verfahrens. Dabei werden das bisherige Grundauswahlverfahren und das neue Erstsemesterverfahren miteinander verglichen, indem die Teilnehmer beider Verfahren mittels standardisierter Online-Befragungen befragt und vorhandene Daten und Dokumente analysiert werden. | 4/2013 | 7/2013 | Dr. Vera Hennefeld | Cusanuswerk - Bischöfliche Studienförderung |
GTZ bzw. GIZ-Rahmenvertrag zur Durchführung von Unabhängigen Evaluierungen und Wirkungsevaluierungen von Programmen der technischen ZusammenarbeitLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hat ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und lässt seither im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen durchführen. Der in diesem Zusammenhang mit dem CEval 2005 erstmalig geschlossene Rahmenvertrag wurde in den darauffolgenden Jahren kontinuierlich verlängert, so dass bisher bereits 30 Vorhaben der technischen Zusammenarbeit durch das CEval evaluiert wurden.
Im Zentrum der Evaluationsvorhaben steht nach der erfolgreichen Erprobung in 2008 und 2009, die Weiterentwicklung eines durch das CEval entwickelten Analysekonzepts, welches sich an den theoretischen Modellen und methodischen Verfahrensweisen des ‚Rigorous-Impact-Evaluation’-Ansatzes (RIE) orientiert. Kern dieses Ansatzes ist eine hypothesengeleitete Ursache-Wirkungsmessung, ein quasi-experimentelles Untersuchungsdesign (Vorher-Nachher-Messung, Vergleich von Ziel- und Nicht-Zielgruppe), die Kombination unterschiedlicher quantitativer und qualitativer Erhebungsverfahren (Multi-Methoden-Ansatz) sowie die Anwendung elaborierter Matching- und Datenauswertungsmethoden einschließlich multivariater statistischer Verfahren. Durch diese Vorgehensweise wird eine kausale Zuschreibung der in einem Untersuchungsgebiet eingetretenen (wirtschaftlichen, gesellschaftlichen, ökologischen etc.) Veränderungen und somit eine valide und reliable Wirkungsmessung ermöglicht.
In 2010 führt das CEval vier Evaluierungen im Schwerpunktsektor "Berufliche Bildung" und in 2011 zwei Evaluierungen in im Bereich "Gesundheit" durch. Für ein Vorhaben in der Mongolei wird von CEval-Mitarbeitern eine methodisch anspruchsvolle Wirkungsevaluierung und für ein anderes Programm in Südafrika wird erstmalig eine ex-ante Evaluierung realisiert, indem eine Bedarfsanalyse, ein Impact Assessment und eine Baseline-Studie durchgeführt werden. Des Weiteren wird im Rahmen der ex ante Evaluierung die Wirkungslogik des Programms entwickelt sowie ein Konzept für zukünftiges Wirkungsmonitoring erarbeitet.
Die weiteren vier Evaluierungen in 2010 und 2011 werden unter der Koordination von Sonja Wolf von externen Gutachtern aus dem In- und Ausland umgesetzt.
In 2010 handelte es sich um folgende TZ-Vorhaben:
- Schlussevaluierung des Programms „Förderung der beruflichen Erwachsenenbildung und Beschäftigung, Bulgarien"
- Schlussevaluierung des „Indisch-Deutschen Zentrums für Moderne Technologien (IGIAT), Indien"
- Schlussevaluierung des Programms „Berufsbildung von Mädchen und Frauen sowie Unterstützung des Reformprozesses im Bildungssystem, Kasachstan"
- Ex-ante Evaluierung des Programms „Skills Development for Climate and Environment Business – Green Jobs, Südafrika”
In 2011 handelte es sich um folgende TZ-Vorhaben:
- Schlussevaluierung des Programms "Multidisziplinäres HIV/AIDS Programm, Bangladesch"
- Ex-post Wirkungsevaluierung des Programms "Förderung der reproduktiven Gesundheit, Mongolei"
| 2/2010 | 6/2013 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) |
East4South - Development Awareness from the RootsLeiter: Dr. Stefan Silvestrini Beschreibung Gegenstand der Evaluation war das von der EU finanzierte Projekt der Deutschen Welle-Akademie (DWA) „East4South - Development Awareness from the Roots“. Das Projekt zielte darauf ab, Nachwuchsjournalisten aus den osteuropäischen EU12-Staaten dabei zu unterstützen, qualitativ hochwertige Reportagen über entwicklungspolitische Themen in den Medien ihrer Heimatländer zu veröffentlichen. Langfristig ist mit dem Projekt beabsichtigt, EU12-Bürger für entwicklungspolitische Themen zu sensibilisieren und in den EU12-Ländern eine positive Einstellung gegenüber der EU-Entwicklungspolitik zu erzeugen. Im Rahmen dieses Vorhabens wurden insgesamt 60 Nachwuchsjournalisten aus Osteuropa und Afrika in interkulturellem Journalismus weitergebildet und miteinander vernetzt. Bei einem Aufenthalt in Afrika produzierten afrikanische und osteuropäische Journalisten anschließend gemeinsam journalistische Beiträge über entwicklungspolitische Themen, mit dem Ziel diese in den Medien der EU12 Ländern zu veröffentlichen.
Ziel der summativen ex-post Evaluation war die Analyse und Bewertung der Wirkungen der Projektmaßnahmen und der Qualität der Projektdurchführung. Hierzu verwendete die CEval GmbH einen Multimethodenansatz mit u.a. qualitativen Leifadeninterviews mit Stakeholdern, einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen und Kurzberichten der Teilnehmer sowie einer standardisierten Online-Befragung aller Teilnehmer. | 1/2013 | 6/2013 | Dr. Vera Hennefeld | Deutsche Welle-Akademie |
Talking about migrants‘ lives in RussiaLeiter: Dr. Stefan Silvestrini Beschreibung Gegenstand der Evaluation war das von der Deutschen Welle-Akademie und der russischen Foundation for Independent Radio Broadcasting durchgeführte EU-Projekt „Talking about migrants‘ lives in Russia“. Ziel des Projekts war es, die Inklusion von Migranten in der russischen Gesellschaft zu fördern. Zur Erreichung dieses Zieles wurden russische Radiojournalisten und Vertreter zivilgesellschaftlicher Organisationen (VZOs) aus dem Bereich Migration in Workshops fortgebildet und auf lokaler Ebene miteinander vernetzt. Durch diese Workshops sollte zum einen die Professionalität der Radiojournalisten und zum anderen die Medienkompetenz der VZOs erhöht werden. Mithilfe von Podiumsdiskussionen, einer Internetplattform und eines journalistischen Wettbewerbs wurde zudem angestrebt, die Kooperation zwischen Radiojournalisten und VZOs dauerhaft zu intensivieren. Mittelfristig wurde mit all diesen Maßnahmen beabsichtigt, die Quantität und Qualität journalistischer Beiträge zu migrationsrelevanten Themen zu erhöhen.
Der Fokus der summativen ex-post-Evaluation lag auf der Analyse und Bewertung der kurz- und mittelfristigen Wirkungen der Workshops. Zu diesem Zweck wurde zudem näher untersucht, in welcher Weise die Projektdurchführung, die Internetplattform und die Podiumsdiskussionen die beabsichtigten Wirkungen beeinflusst haben.
Im Rahmen der Datenauswertung und Evaluation verwendete die CEval GmbH einen Multimethodenansatz mit u.a. einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen der Teilnehmer und qualitativen Leitfadeninterviews. Zudem wurden eine standardisierte russischsprachige Online-Befragung aller Teilnehmer sowie eine russischsprachige Emailbefragung mit dem russischen Projektmanager durchgeführt. | 2/2013 | 6/2013 | Dr. Vera Hennefeld | Deutsche Welle-Akademie |
Formative Evaluation der Konzeptentwicklung zur Bildungsoffensive Elbinseln 2011 – 2012/13Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Wolfgang Meyer Beschreibung Im Auftrag der IBA – Hamburg GmbH führte das CEval eine formative Evaluation der Konzeptentwicklung zur „Bildungsoffensive Elbinseln“ (BOE) durch. Hauptziele des Teilprojektes der Internationalen Bauausstellung in Hamburg waren die Förderung der gesellschaftlichen Integration der Bewohner der Elbinseln sowie eine Stärkung des Wohnstandortes Elbinseln durch attraktive Bildungseinrichtungen.
Ziel der formativen Evaluation war die Beratung und Qualifizierung der eingesetzten Netzwerkmanager in den fünf zentralen IBA Bildungsprojekten. Konzepterarbeitung (insbesondere zur Sicherung der Nachhaltigkeit und zur Entwicklung einer gemeinsamen Kommunikationsstrategie), Monitoring der Entwicklung (inklusive der Etablierung eines selbständig von den IBA-Projekten fortführbaren Monitoringsystems) und Netzwerkarbeit in Form der Beteiligung an gemeinsamen Workshops sind die zentralen Aufgaben. Hierfür wurde ein Rahmenvertrag im Umfang von 45 Arbeitstagen geschlossen, der bis zum Abschluss der Internationalen Bauausstellung 2013 abgegolten werden sollte. Die ersten Workshops wurden im Mai und im August 2011 durchgeführt. | 5/2011 | 4/2013 | Dr. Wolfgang Meyer | IBA Hamburg GmbH |
Evaluation des Projekts AnschlussDirektLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Evaluation war das im Jahr 2010 durch das Ministerium für Wirtschaft und Wissenschaft des Saarlandes ins Leben gerufene und auf drei Jahre angelegte Projekt AnschlussDirekt. Im Rahmen des Projektes wurden Schülerinnen und Schüler mit einer positiven Hauptschulabschlussprognose in der Phase der Berufsorientierung und während der Ausbildungsplatzsuche intensiv betreut. Die Betreuung der Jugendlichen erfolgte in erster Linie durch die Mitarbeiter der Projektkoordinierungsstelle, aber auch - und dies ist die Besonderheit des Modellprojekts – durch ehrenamtlich agierende „Paten“ (Wirtschaftsexperten und Personalverantwortliche saarländischer Unternehmen). Ziel war es, den Anteil der Schülerinnen und Schüler zu erhöhen, die direkt im Anschluss an ihren Hauptschulabschluss eine betriebliche Ausbildung beginnen.
Aufgabe der begleitenden Evaluation war zunächst die Unterstützung beim Aufbau eines Monitoringssystems, in dem für das Projektmanagement steuerungsrelevante Daten erfasst und bedarfsgerecht abgerufen werden können.
Ergänzend hierzu wurden die Paten im Rahmen einer telefonischen Befragung zu ihren Eindrücken und Bewertungen hinsichtlich des Projekts und ihrer Beratungen befragt.
Des Weiteren bestand die Aufgabe der Evaluation darin, Projektwirkungen auf der Ebene der Zielgruppe zu erfassen. Hierzu wurden zu verschiedenen Zeitpunkten standardisierte Befragungen mit den am Projekt beteiligten Jugendlichen durchgeführt. Die Ergebnisse dieser Befragungen wurden mit eigens erhobenen Baselinedaten von Schülerinnen und Schüler, die nicht am Projekt teilnehmen, systematisch verglichen.
Aus den Evaluationsbefunden wurden regelmäßig Empfehlungen zur Projektoptimierung abgeleitet und der Projektkoordination zur Verfügung gestellt. | 1/2011 | 12/2012 | Dr. Wolfgang Meyer | Ministerium für Wirtschaft und Wissenschaft des Saarlandes |
Grenzüberschreitende Arbeitsmarktpolitik: Institutionen und institutionelle Steuerung des Arbeitsmarktes in der Großregion SaarLorLuxLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Der Arbeitsmarkt der Großregion SaarLorLux (Saarland, Lothringen, Luxemburg, Rheinland-Pfalz und Wallonie) ist durch umfangreiche grenzüberschreitende Pendlerströme geprägt. Nahezu 200.000 Berufspendler überqueren im Vierländereck täglich eine nationale Grenze auf dem Weg zu ihrer Arbeitsstelle (IBA 2009).
Die Öffnung der Märkte bedeutet für Grenzregionen wie den SaarLorLux-Raum neue Möglichkeiten, aber auch neue Schwierigkeiten hinsichtlich der aktiven Gestaltung dieses Marktes und seiner Rahmenbedingungen. Nationale Unterschiede der Arbeitsgesetzgebung, Lohngestaltung, Beschäftigungssicherung, Arbeitsplatzgestaltung etc. stellen sich zunehmend als komparative Standortvor- bzw. –nachteile dar, die grenzüberschreitende Pendelbewegungen der Arbeitskräfte bewirken und gleichzeitig auch Effekte auf die Verhandlungen der Arbeitgeber- und Arbeitnehmervertretungen sowie die Politik der betroffenen Regionen haben. Dabei werden die Handlungsmöglichkeiten der lokalen Akteure durch die nationalen Regelungen und Politiken begrenzt und eventuell sogar in Bezug auf eine rationale, koordinierte Gestaltung der Arbeitsbeziehungen innerhalb der Großregion behindert. Gleichzeitig erhöht sich auch der Druck auf die Akteure, die nun einen Interessenausgleich nicht nur innerhalb einer Nation sondern auch zwischen den Nationen zu suchen und zu einer gemeinsamen Arbeits- und Beschäftigungspolitik zu finden haben.
Ziel des Forschungsprojektes war es, transnationale Institutionen des Arbeitsmarkts der Großregion zu erfassen und hinsichtlich ihrer Funktionalität als politische Steuerungsgremien und zur Herausbildung einer grenzüberschreitenden Integration zu bewerten.
In einer ersten explorativen Projektphase wurden hierzu neben umfangreichen Sekundäranalysen Interviews mit ausgewählten Experten zur Situation des Arbeitsmarktes geführt. Auf Grundlage der dabei gewonnen Informationen wurde in der zweiten Phase unter Berücksichtigung einer netzwerktheoretischen Perspektive eine standardisierte Online-Befragung von Vertretern aller relevanten interregional tätigen Gremien des Arbeitsmarktes der Großregion durchgeführt.
Interregionale Arbeitsmarktbeobachtungsstelle (2009). Die Arbeitsmarktsituation in der Großregion. 6. Bericht der Interregionalen Arbeitsmarktbeobachtungsstelle an den 11. Gipfel der Exekutive der Großregion. Saarbrücken. | 1/2011 | 12/2012 | Dr. Wolfgang Meyer | Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA), Arbeitskammer des Saarlandes (AK) |
Wirkungsstudie:
Armutsminderung im Ländlichen Raum durch FairtradeLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Fairtrade zielt darauf ab, den Fairen Handel zu stärken und möchte es Kleinbauern und Plantagenangestellten in Afrika, Lateinamerika und Asien ermöglichen, von der angestammten Produktion zu leben. Daher legen Fairtrade-Standards als Strategie zur Armutsbekämpfung u.a. ein stabiles Einkommen fest, sowie Grundsätze für Umweltschutz und Gleichstellung. Eine Fairtrade-Prämie, die für die Produkte der Kleinbauern und der zertifizierten Plantagen bezahlt wird, ermöglicht Investitionen in Entwicklungsprojekte. Die Ziele von Fairtrade sind u.a.:
- Langfristige und möglichst direkte Handelsbeziehungen von Kleinbauern aus benachteiligten Regionen des Südens in den Markt des Nordens.
- Mindestens gesetzlicher Mindestlohn, Schutzkleidung, bezahlter Urlaub und soziale Vorsorge für Angestellte auf Plantagen.
Ziel dieser Studie war es, die Wirkungen von Fairtrade auf die ländliche Entwicklung in ausgewählten Gebieten/Regionen auf Basis der neuesten Kenntnisse zur Wirkungsmessung zu identifizieren und zu bewerten. Dabei wurde folgende bisher nicht hinreichend untersuchte Hypothese überprüft: „Die Präsenz von repräsentativen Fairtrade-zertifizierten Kooperativen oder Plantagen innerhalb eines gegebenen Gebietes hat über die Fairtrade-Produzentenorganisationen (PO) hinaus eine positive Wirkung auf die ländliche Entwicklung und trägt somit zur Verbesserung der sozialen, wirtschaftlichen und ökologischen Bedingungen im ländlichen Raum bei“. Aufgabe der Wirkungsstudie war es folglich, objektive und belastbare Daten für die Diskussion der Frage, ob Fairtrade ein effektives Instrument der Armutsminderung im ländlichen Raum darstellt, zu liefern.
Methodisch basierte die Wirkungsstudie auf einer hypothesengeleiteten quasi-experimentellen Versuchsanordnung und einem Multi-Methodenansatz. In sechs Produktsektoren wurde jeweils eine Fallstudie durchgeführt: Blumen (Kenia), Kakao (Ghana), Kaffee (Peru), Bananen (Peru), Baumwolle (Indien) und Tee (Indien). Hierfür kamen folgende Datenerhebungsmethoden zum Einsatz: Sekundär- und Dokumentenanalysen, leitfadengestützte Intensivinterviews, Gruppendiskussionen, partizipative Methoden, teilnehmende Beobachtungstechniken sowie mehrere (teil-)standardisierte Zielgruppen-Befragungen. Des Weiteren wurden Inhaltsanalysen sowie deskriptive und inferenzstatistische Analyseverfahren als Datenauswertungsmethoden angewandt.
------------------------------------------------
Zum Download stehen bereit (externe Links): Die Zusammenfassung der Studie (pdf, 4 Seiten, deutsch) | 5/2011 | 12/2012 | Dr. Stefan Silvestrini | Transfair Germany (TFG), Max Havelaar Stiftung (Schweiz) (MHCH) |
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2011-2012)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das in 2011 in der dritten Phase laufende Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung setzte auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzte das Programm auf Mentoringelemente – also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker(innen) – auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichneten sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. ihrer Promotion in maximal einem Jahr anvisiert war oder dass sie Berufsanfängerinnen waren.
Zur Qualitätssicherung des Förderprogramms führte das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter(inne)n des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen.
Methodisch umfasste die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen zu drei Zeitpunkten. Im Zentrum des Interesses standen die Zufriedenheit mit dem Karriereförderprogramm, die Qualität der Beziehung zwischen den Nachwuchskräften und ihren Tutor(inn)en, die Vernetzungsaktivitäten der Mentees sowie der persönliche und berufliche Nutzen für alle Beteiligten. Die Datenerhebungen fanden begleitend zur 15-monatigen Dauer des Karriereförderprogramms statt. Damit erhielt die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dieses Vorgehen ermöglichte eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken. | 6/2011 | 12/2012 | Dr. Vera Hennefeld | Cusanuswerk - Bischöfliche Studienförderung |
Evaluierung des Projekts „Diakonie und Caritas als Orte zukunftsfähigen Lebensstils und nachhaltiger Beschaffung“Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Hansjörg Gaus Beschreibung Gegenstand der Evaluation war das von der Deutschen Bundesstiftung Umwelt geförderte Projekt „Diakonie und Caritas als Orte zukunftsfähigen Lebensstils und nachhaltiger Beschaffung“, das am 1.11.2010 gestartet wurde und bis zum 30.4.2013 lief. Im Rahmen dieses Projekts sollte die Beschaffung in Einrichtungen der stationären Altenhilfe sowie der Kinder-/Jugend- und Behindertenhilfe im Sinne der Nachhaltigkeit verbessert werden. Gleichzeitig sollten MitarbeiterInnen, BewohnerInnen und BesucherInnen informiert und zu einer nachhaltigen Lebensgestaltung motiviert werden. Darüber hinaus sollten die in Testeinrichtungen erprobten Ansätze zur Senkung des Ressourcenverbrauchs und der Einführung nachhaltiger Beschaffungsstandards deutschlandweit sowohl innerhalb der Projektträger als auch in nichtkirchlichen Wohlfahrtseinrichtungen verbreitet und verstetigt werden.
Es handelte sich um eine formative, den Prozess begleitende Evaluation nach ca. 1,5 Jahren, die Erkenntnisse für die restliche Laufzeit des Projekts und seine geplante Weiterführung über das Förderende hinaus gewinnen sollte. Ganz allgemein wurde dazu die detaillierte inhaltliche Beschreibung der vier Projektphasen mit dem Projektstand zum Zeitpunkt des Beginns der Evaluierung abgeglichen. Konkreter gesagt, ging es darum, die bis zum Evaluationszeitpunkt realisierten Aktivitäten zu dokumentieren, Informationen zur Erreichung der Teilziele („Verbesserung der Beschaffung unter Nachhaltigkeitskriterien“, „Bundesweite Verbreitung des Projektes“, „Aufbau von Netzwerkstrukturen“) zu gewinnen und Hinweise für die Optimierung von Prozessen abzuleiten. Besonderes Augenmerk sollte dabei darauf gerichtet werden, wie die LeiterInnen und MitarbeiterInnen der Einrichtungen für die nachhaltige Beschaffung gewonnen werden können.
Zur Bearbeitung der Evaluationsaufgaben folgte das CEval einem „mixed-methods“ Ansatz, wobei zur Bearbeitung der einzelnen Fragestellungen vorwiegend qualitative Leitfadeninterviews sowie standardisierte Onlinebefragungen als Datenerhebungsinstrumente genutzt wurden. Zur vertiefenden Analyse sowie zur Instrumentenanalyse wurde zudem auf das Instrument der Dokumentenanalyse zurückgegriffen. | 4/2012 | 12/2012 | Dr. Hansjörg Gaus | Institut für Kirche und Gesellschaft der Evangelischen Kirche von Westfalen |
Evaluation des "Programms zur Förderung der Integration ausländischer Studierender" (PROFIN)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Evaluation war das BMBF-geförderte ‚Programm zur Förderung der Integration ausländischer Studierender‘ (PROFIN), das vom Deutschen Akademischen Austauschdienst (DAAD) in einer vierjährigen Förderlaufzeit von 2009 bis 2012 durchgeführt wurde. Der DAAD zielte mit PROFIN auf eine verbesserte Integration ausländischer Studierender in Hochschule und Gesellschaft durch Projekte an Hochschulen zur allgemeinen, fachlichen und sozialen Integration ab. Durch das Programm sollte auch ein Paradigmenwechsel im Verhältnis der deutschen Hochschule zu ihren ausländischen Studierenden erreicht werden: von der Betreuung zur Integration.
Im Rahmen der Evaluationsstudie wurde untersucht, ob die angestrebten Ziele des Programms erreicht wurden und welche Maßnahmen und Projekte sich als besonders erfolgreich und wirksam erwiesen haben.
Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (qualitative Leitfadeninterviews und standardisierte Onlinebefragungen) durchgeführt. | 3/2012 | 12/2012 | Dr. Hansjörg Gaus | Deutscher Akademischer Austauschdienst (DAAD) |
Evaluation der Arbeit der Deutschen UNESCO-KommissionLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Christoph E. Müller Beschreibung Die UNESCO fordert von ihren Mitgliedsstaaten die Einrichtung nationaler Kommissionen, die zu einer effektiveren Ausgestaltung der Mitgliedschaft beitragen sollen. Dementsprechend hat die Bundesrepublik Deutschland die Deutsche UNESCO-Kommission e.V. (DUK) eingerichtet. Neben Beratungsaufgaben von Regierung und Parlament bearbeitet die DUK gemäß ihrer Satzung weitere Aufgaben wie bspw. die Mitwirkung an der Ausgestaltung der Mitgliedschaft Deutschlands in der UNESCO, die Förderung internationaler Verständigung, die Leistung eines Beitrags zur friedenssichernden Arbeit der UNESCO oder das Unterrichten der Öffentlichkeit über die Zwecke und die Arbeit der DUK.
Das Centrum für Evaluation (CEval) wurde mit der Evaluation der Arbeit der DUK beauftragt und bearbeitete dabei unterschiedliche Aufgabenstellungen. So wurde eine Bewertung der von der DUK erbrachten Beratungsleistungen für die Bundesregierung und das Parlament vorgenommen. Zudem wurden die Ziel- und Steuerungssysteme der DUK analysiert sowie die Arbeitsabläufe innerhalb der DUK einer Prozessanalyse unterzogen. Schließlich wurden unterschiedliche Programmbereiche wie die „Kontaktstelle kulturelle Vielfalt“, das Kooperationsprojekt mit afrikanischen Nationalkommissionen und die Aktivitäten der DUK im Zusammenhang mit den „UNESCO-Biosphärenreservaten“ evaluiert.
Die Ziele der Evaluation leiteten sich aus ihren Aufgabenstellungen ab und bestanden unter anderem in der Entwicklung erkenntnisbasierter Empfehlungen zur Optimierung des Beitrags der DUK im Hinblick auf das Ziel der Bundesregierung, die Rolle Deutschlands in der UNESCO zu stärken und zur Optimierung der Zielerreichung der DUK. Zudem sollte die Evaluation zur Optimierung der Arbeitsabläufe hinsichtlich Wirtschaftlichkeit, Prozess- und Produktqualität, Wirksamkeit und Relevanz sowie zur Optimierung der Instrumente zur Erfolgsmessung, u.a. im Hinblick auf die Notwendigkeit der Rechenschaftslegung gegenüber dem Auswärtigen Amt, beitragen.
Die Herangehensweise des CEval ist grundsätzlich theoriegeleitet. Mit Blick auf die Validität der Forschungsergebnisse waren für die Evaluationskonzeption sowohl theoretische Modelle als auch methodische Grundannahmen bedeutsam. Auf der theoretischen Ebene war im Hinblick auf den Evaluationsgegenstand vor allem das organisationstheoretische Wirkungsmodell von besonderem Interesse. Aus methodischer Sicht kamen ein Multimethodenansatz sowie der partizipative Evaluationsansatz des CEval zur Anwendung. | 4/2012 | 12/2012 | Dr. Vera Hennefeld | Auswärtiges Amt (AA) |
Evaluation zweier DAAD-Fachprogramme („Moderne Anwendungen in der Biotechnologie – Postdoktoranden-Austausch mit ausgewählten Ländern in Mittel- und Osteuropa“ und „Studieren und Forschen für Nachhaltigkeit“)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Evaluation waren zwei aus Mitteln des BMBF-geförderte Fachprogramme des DAAD, die beide 2005 begonnen wurden und Ende 2012 ausliefen. Ziel des Programms „Moderne Anwendungen der Biotechnologie – Postdoktoranden-Austausch mit ausgewählten Ländern in Mittel- und Osteuropa“ war es, besonders qualifizierten Nachwuchswissenschaftlerinnen und -wissenschaftlern mit Stipendien die Möglichkeit zu geben, für bis zu 12 Monate mit eigenen wissenschaftlichen Vorhaben an der Forschung selbst gewählter Institute an Hochschulen und außeruniversitären Forschungseinrichtungen im In- bzw. Ausland mitzuarbeiten. Damit sollten ihre Vernetzung in wichtigen Feldern der modernen Biotechnologie gefördert und ggf. Kooperationen angestoßen werden.
Das Programm „Studieren und Forschen für Nachhaltigkeit“ verfolgte das Ziel, die internationale Fachkommunikation und die Vernetzung zwischen Instituten, Studierenden und Wissenschaftlern in Deutschland und im Ausland zu entwickeln. Dazu wurden an besonders qualifizierte Studierende, Doktoranden und Postdoktoranden aus Deutschland, den BRICS-Staaten sowie der Mongolei Langzeitstipendien für Studium bzw. Forschung in ausgewählten Feldern der Nachhaltigkeitsforschung vergeben und die Durchführung von Sommerschulen gefördert. In einer dritten Programmlinie wurden zusätzliche Forschungsstipendien für Doktoranden und Postdoktoranden aus China und Deutschland vergeben.
Im Rahmen der Evaluation der beiden Programme sollten Aussagen über die wissenschaftliche Qualität der Stipendiatinnen und Stipendiaten und ihre persönlichen Motivationen für die Bewerbungen sowie die Nachhaltigkeit der Förderung und Vernetzung gewonnen werden. Weiterhin sollte die Erreichung der Ziele der Programme untersucht werden. Aus den gewonnenen Erkenntnissen sollten Schlussfolgerungen und Empfehlungen für die Gestaltung vergleichbarer Fachprogramme abgeleitet werden.
Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (qualitative Leitfadeninterviews und standardisierte Onlinebefragungen) durchgeführt. | 5/2012 | 12/2012 | Dr. Hansjörg Gaus | Deutscher Akademischer Austauschdienst (DAAD) |
Final Evaluation Evaluation of “SCAMPIS” – Scaling up micro-irrigation systems in India, Madagascar and GuatemalaLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Since 1977, IFAD has worked to raise productivity and income of rural poor populations to overcome poverty and improve the quality of their lives. In its long history, the Fund has developed and implemented various programs and projects all over the world. Scaling up micro-irrigation systems in India, Madagascar and Guatemala (SCAMPIS) is one of the IFAD’s latest projects, financed by COOPERNIC with a budget of 3 million Euro. In the period of 2008-2012, it has aimed at improving livelihoods and food security of 30.000 smallholder households in the three pilot countries of India, Madagascar and Guatemala by providing them with micro irrigation systems (MIS) and liquid organic fertilizer systems (LOF).
Before the program is phasing out in December 2012, an external evaluation of SCAMPIS is conducted in order to assess the achievement of program objectives and outcomes. In particular, according to the Terms of Reference, the evaluation should pursue three objectives:
- The review has to assess the achievement of the programme objectives and outcomes with regard to its components and corresponding target groups.
- Lessons learnt and recommendations have to be provided for IFAD with regard to improvement of design and implementation of future programmes. Replicability and scaling up are core concepts in this context.
- Special attention has to be put on the sustainability especially with regard to any future activities to be implemented by the different stakeholders along the water value chain of MIS/LOF.
The CEval evaluation team will visit each project country for 12 days to conduct interviews with main stakeholders in the implementing organizations, key persons along the MIS value chain and the primary beneficiaries. In addition, a quantitative survey will be conducted in each of the three project countries to learn more about the impact MIS has on food security in different country contexts. Finally, IFAD’s perspective is taken into account by using data from interviews with most important representatives for the SCAMPIS project. | 8/2012 | 12/2012 | Dr. Stefan Silvestrini | International Fund for Agricultural Development (IFAD) |
Entwicklung und Implementierung eines M&E-Systems für das
„MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das „MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“ ist ein seit 1998 bestehender, hochschulübergreifender Verbund aller hessischen Universitäten und Fachhochschulen und stellt mit rund 1.500 Mitgliedern das größte Mentoring-Projekt in der europäischen Hochschullandschaft dar. Das Netzwerk richtet sich an Frauen in Natur- und Ingenieurwissenschaften, die sich in der Qualifizierungsphase Studium oder Promotion befinden und zielt darauf ab, die Absolventinnenzahlen in naturwissenschaftlich-technischen Studiengängen und bei Promotionen zu erhöhen sowie die Karrierechancen von Frauen in naturwissenschaftlich-technischen Berufen zu verbessern und damit den Frauenanteil in attraktiven Positionen in Wissenschaft und Wirtschaft zu erhöhen.
Nachdem das Centrum für Evaluation (CEval) 2008 bereits eine Absolventenverbleibsstudie sowie eine Kontextanalyse für das MentorinnenNetzwerk durchgeführt hatte, wurde es 2011 mit der Entwicklung und Implementierung eines Monitoring- und Evaluationssystems (M&E-System) für das Mentoring-Programm des MentorinnenNetzwerks beauftragt. Dieses sollte die Mitarbeiterinnen des Hessischen Koordinierungsbüros des MentorinnenNetzwerks dazu befähigen, künftig selbst regelmäßige M&E-Aktivitäten durchzuführen, die dabei erhobenen Daten zu analysieren und zu verwerten. Die Mitarbeiterinnen wurden vonseiten des CEval entsprechend geschult und bei den ersten Erhebungen begleitet. | 5/2011 | 10/2012 | Dr. Vera Hennefeld | MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik |
Wirkungsevaluation der internen Weiterbildungsmaßnahmen der Aktien-Gesellschaft der Dillinger HüttenwerkeLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M+E-Systems
Ziel des ersten Teilprojekts war es, strategisch relevante, interne Weiterbildungen bezüglich ihrer Wirkung und Nachhaltigkeit zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms voranzutreiben.
Methodisch umfasste diese Evaluation eine Dokumenten-und Sekundäranalyse sowie explorative Interviews zur Entwicklung von Wirkungsindikatoren. Anhand leitfadengestützter Interviews mit Vorgesetzten der Teilnehmenden sowie einer Online-Erhebung wurden Wirkung und Nachhaltigkeit der Weiterbildungen erfasst. | 7/2011 | 10/2012 | Dr. Vera Hennefeld | AG der Dillinger Hüttenwerke |
Beratung des Master of Evaluation Studienprogramms der Universidad de Costa Rica im Rahmen des DAAD-BeraterprogrammsLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Zwischen dem Centrum für Evaluation (CEval) und der Universidad de Costa Rica (UCR) besteht seit einigen Jahren eine Kooperation zur Weiterentwicklung des seit 1995 implementierten ‚Masterstudiengangs in Evaluation von Projekten und Programmen zur sozialen Entwicklung’ der UCR. Im Rahmen dieser Vernetzungsbestrebungen soll zukünftig auch ein Dozenten- und Studierendenaustausch zwischen den beiden Masterstudiengängen in Evaluation stattfinden.
Dieses Vorhaben stieß bei dem DAAD auf breite Anerkennung und wird durch das Beraterprogramm des DAAD seit 2008 auch finanziell unterstützt.
Das Beratungskonzept sieht insgesamt acht Arbeitsaufenthalte/-treffen in Costa Rica und Deutschland vor. Im Rahmen der ersten vier Workshops wurden u. a. umfassende Veränderungen am Curriculum des „Master of Evaluation“- Studienprogramms der Universidad de Costa Rica vorgenommen, um diesen gemäß internationalen Anforderungen an Masterstudiengänge weiterzuentwickeln und an die im internationalen Evaluationskontext geltenden Standards für die Aus- und Weiterbildung zu überarbeiten. Darüber hinaus wurden die Marktbedürfnisse für einen akademischen Evaluationsabschluss in Costa Rica mithilfe einer Marktanalyse in sechs zentralamerikanischen Ländern eruiert und den Dozenten des Masterstudiengangs erste Weiterbildungsmaßnahmen zu Indikatorenentwicklung und Standards für Evaluation angeboten. In zukünftigen Arbeitstreffen wird basierend auf den Ergebnissen der durchgeführten Marktstudie eine Marketingstrategie für den Studiengang auf zentralamerikanischer Ebene entwickelt. Darüber hinaus sollen eine Bedarfs- und Praktikabilitätsanalyse des in Kooperation reformierten und in 2011 neu zu implementierenden Curriculums des Master of Evaluation Studienprogramms der Universidad de Costa Rica realisiert, weitere Dozentenfortbildungen für die erfolgreiche Umsetzung des modifizierten Studienprogramms angeboten sowie Anpassungen des überarbeiteten Masterstudiengangs an Gegebenheiten vor Ort vorgenommen werden.
Daneben werden Möglichkeiten der Verstetigung und Vertiefung der Kooperation zwischen beiden Hochschulen analysiert und weiterer Kooperationspartner für zukünftige Kooperationsstrategien identifiziert. | 7/2008 | 6/2012 | M.A. Sandra Bäthge | Deutscher Akademischer Austauschdienst (DAAD) |
Unterstützung der Evaluationsaktivitäten des Doktorandenkollegs DESLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Christoph E. Müller Beschreibung Die Doctoral School in Educational Sciences (DES) bietet qualifiziertem wissenschaftlichem Nachwuchs die Möglichkeit, innerhalb von maximal vier Jahren ein Studium mit einem PhD in Psychologie, Geschichts-, Sozial-, Erziehungs- oder Sprachwissenschaften abzuschließen. Um von den Studierenden Rückmeldungen über diverse Aspekte des Studiums (allgemeine Zufriedenheit, Nutzen und Qualität der Lehrveranstaltungen etc.) zu erhalten, wurden seitens des Centrums für Evaluation zwei Instrumente im Auftrag des Doktorandenkollegs entwickelt.
Dabei handelte es sich zum einen um einen lehrangebotsbezogenen Seminarbeurteilungsbogen, der in den Kursen des Kollegs eingesetzt wurde und Erkenntnisse über die Qualität der Veranstaltungen generieren sollte. Zum anderen wurde ein DES-übergreifendes Evaluationsinstrument entwickelt. Dabei handelte es sich um einen Online-Fragebogen, mit dessen Hilfe allgemeine Aspekte des Doktorandenkollegs eruiert wurden, etwa bezüglich der Erwartungen der Studierenden an das Graduiertenkolleg und ihre Erfahrungen mit dem Kolleg.
Während das CEval bei dem Seminarbeurteilungsbogen lediglich für die Instrumentenentwicklung zuständig war, zeichnete das CEval sich im Rahmen der DES-übergreifenden Befragung für den gesamten Befragungsprozess (von der Instrumentenentwicklung über die Durchführung bis hin zur Auswertung der Befragung) verantwortlich. | 11/2011 | 3/2012 | Dr. Vera Hennefeld | Universität Luxemburg |
Evaluation des Mentoring-Programms 2010 des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Als Basis für eine fortlaufende Qualitätssicherung und -entwicklung der Angebote des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“ erhielt das CEval den Auftrag, in Zusammenarbeit mit dem Hessischen Koordinierungsbüro ein Monitoring- und Evaluationssystem (M+E-System) für die Aktivitäten und Angebote des Netzwerks zu entwickeln und zu implementieren. Hierzu wurden im Jahr 2011 zwei Instrumente entwickelt, mittels derer die Teilnehmerinnen der jährlichen Mentoring-Programme (Mentorinnen und Mentees) künftig regelmäßig, in standardisierter Form zu relevanten Aspekten befragt werden. Die Auswertung und Analyse der erhobenen Daten dient sowohl der kontinuierlichen Prüfung und ggf. Optimierung der verschiedenen Aktivitäten als auch der jährlichen Rechenschaftslegung gegenüber den Mittelgebern.
Während diese M+E-Aktivitäten ab dem Jahr 2012 von den Mitarbeiterinnen des Hessischen Koordinierungsbüros in Eigenregie durch- bzw. fortgeführt werden, wurde in 2011 (noch) das CEval mit der in einen Evaluationsbericht mündenden Auswertung der zum Mentoring-Programm 2010 erhobenen Daten beauftragt. | 11/2011 | 1/2012 | Dr. Vera Hennefeld | MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik |
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in RuandaLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.
Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings. | 10/2011 | 12/2011 | Dr. Vera Hennefeld | Deutsche Welle (DW) |
Evaluation der Mitarbeitergespräche 2011
der Aktien-Gesellschaft der Dillinger HüttenwerkeLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.
Die Dillinger MAG wurden bereits im Jahr 2010 durch das CEval evaluiert. Aufgrund der daraus resultierenden Ergebnisse wurden Anpassungen am MAG vorgenommen. Aufgabe der Evaluation der MAG 2011 war es zum einen, die Nützlichkeit und Effektivität dieser Anpassungen des MAG und seiner Instrumente zu bewerten. Zum anderen sollte eruiert werden, ob die Transparenz über die Zielsetzungen des MAG verbessert werden konnte und ob das MAG in den Dillinger Hüttenwerken insgesamt als akzeptiertes und verankertes Instrument angesehen werden kann. Aus den Erkenntnissen der Evaluation sind letztlich geeignete Optimierungsmaßnahmen zu identifizieren.
Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 15 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt. Im Rahmen der Datenanalysen wurden die in 2010 und 2011 erhobenen Daten zusammengeführt und im Längsschnitt ausgewertet. | 4/2011 | 10/2011 | Dr. Vera Hennefeld | AG der Dillinger Hüttenwerke |
Evaluation des Projekts „College of Europe“Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das College of Europe mit den beiden Standorten Brügge (Belgien) sowie Natolin (bei Warschau in Polen) ist ein 1949 gegründetes, unabhängiges, postgraduales Hochschulinstitut für europäische Studien. Oftmals auch als „Kaderschmiede für europäische Politik“ bezeichnet, studieren hier jährlich rund 400 Absolventinnen und Absolventen von Hochschulen und Universitäten aus mehr als 50 Ländern, mit dem Ziel eines Master-Abschlusses. Seit 1949 führt das Netzwerk Europäische Bewegung Deutschland (EBD) die Auswahl und Betreuung von jährlich bis zu 40 deutschen Stipendiaten am College of Europe durch. Rund 90 Prozent erhalten ein Stipendium des Bundesministeriums für Bildung und Forschung (BMBF).
Für das EBD evaluierte das Centrum für Evaluation den Einfluss des Colleges of Europe auf den Werdegang der deutschen Alumni. Ziel der Evaluation war das Herausarbeiten von Argumenten für oder gegen eine Fortsetzung des Stipendienprogramms sowie von Anknüpfungspunkten für eine schärfere Positionierung des Colleges und des Stipendienprogramms. Zur Bearbeitung dieser Aufgabenstellung erfolgten umfangreiche Dokumenten- und Sekundäranalysen und es wurden leitfadengestützte Intensivinterviews mit zentralen Verantwortlichen geführt. Schließlich dienten Online-Befragungen dazu, den Einfluss des Colleges auf die Karrieren der Alumni zu evaluieren. | 4/2011 | 8/2011 | Dr. Vera Hennefeld | Netzwerk Europäische Bewegung Deutschland (EBD) |
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in AlbanienLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Für die Deutsche Welle evaluierte das Centrum für Evaluation die Aktivitäten der Deutsche Welle-AKADEMIE in Albanien. Dabei wurden zwölf Kurse für albanische Radiosender zu den übergreifenden Themen Journalismus und Management durchgeführt. Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Kurse nach Journalismus- und Management-Kursen getrennt ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis sieben Trainern geführt und eine teilstandardisierte Online-Befragung der Ansprechpartner der albanischen Partnersender realisiert. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings. | 3/2011 | 6/2011 | Dr. Vera Hennefeld | Deutsche Welle (DW) |
Schlussevaluation der Projekte der World University Services im Kosovo und in Serbien zur Reform des HochschulsektorsLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Schlussevaluation waren die beiden von WUS umgesetzten Projekte “Building Quality, Knowledge and Skills for Social and Economic Development – Support to Reforms of Higher Education in Kosovo 2008-2011” und “Serbia 2007-2010: Improving Quality, Knowledge & Skills for Economic Development – Support to Reforms of Higher Education in Serbia”. Ziel dieser Projekte war die Unterstützung der Reformierung der jeweiligen Hochschulsektoren in den beiden Ländern im Hinblick auf eine bessere, bedarfsorientiertere Ausbildung. Damit sollte die Beschäftigungsfähigkeit und entsprechend die Beschäftigtenquote bei den Hochschulabsolventen gesteigert werden.
Weitere Informationen zu den Projekten erhalten Sie unter:
http://www.wus-austria.org/allprojects/38/15.html
Aufgabe der vom CEval durchgeführten Evaluation war es, gemäß der DAC-Kriterien, die Relevanz, Umsetzungseffizienz, Effektivität, Wirksamkeit sowie die Nachhaltigkeit der Projektmaßnahmen in beiden Ländern zu untersuchen und im Hinblick auf die Zielerreichung bewerten. Die Untersuchung war als Desk-Study angelegt, bei der neben Programmdokumenten weitere Hintergrundrecherchen zum bisherigen Entwicklungsverlauf der Sektoren vorgenommen wurden. | 12/2010 | 4/2011 | Dr. Stefan Silvestrini | World University Services (WUS) |
Evaluation des Moduls ‚Famulaturen und PJ-Abschnitte‘ des DAAD-Ärzteprogramms/ PAGELLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Evaluation war das Modul ‚Famulaturen und PJ-Abschnitte‘ des DAAD-Ärzteprogramms/ PAGEL. Im Rahmen dieses Moduls wurden Medizinstudierenden deutscher Hochschulen aus Entwicklungsländern ein- bis zweimonatige Famulaturen bzw. viermonatige PJ-Tertiale in ihren Heimatländern oder anderen Entwicklungsländern ermöglicht. Durch diesen Aufenthalt hatten die Studierenden die Möglichkeit, sich mit der beruflichen Realität und den benötigten medizinischen Kompetenzen im Heimatland vertraut zu machen. Dies sollte letztendlich nach Abschluss des Studiums deren Rückkehr fördern, deren Reintegration erleichtern und somit dem ‚brain drain‘ entgegenwirken.
Im Rahmen der Evaluationsstudie wurde die Zielerreichung und Wirkung des Moduls ‚Famulaturen und PJ-Abschnitte‘ untersucht. Ziel der Evaluation war es, Optimierungspotentiale für die laufende Programmentwicklung herauszuarbeiten. Dabei wurde besonderes Augenmerk auf die am Ärzteprogramm beteiligten Universitäten und deren Interesse an diesem Modul gelegt.
Aus den Erkenntnissen der Evaluation wurden konkrete Schlussfolgerungen und Empfehlungen für die Programmausschreibung des Ärzteprogramms/ PAGEL im Frühjahr 2011 abgeleitet. | 9/2010 | 3/2011 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
Schlussevaluation der “Child Legal Support and Protection Network Initiative”Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Schlussevaluation war das von Plan International Deutschland e.V. umgesetzte Programm „Child Legal Support & Protection Network Initiative“ in China, das auf eine umfassende Betreuung von Kindern abzielt, die misshandelt wurden oder selbst in Konflikt mit dem Gesetz gekommen sind.
Schwerpunkte der Schlussevaluation lagen auf der Identifikation und Bewertung der bislang erzielten Wirkungen und ihrer Nachhaltigkeit sowie der Rolle und der Zusammenarbeit der beteiligten Akteure. Darüber hinaus sollten auf Grundlage der Untersuchungsergebnisse Empfehlungen für die vorgesehene zweite Phase ab 2011 entwickelt werden. Gemäß dem Multimethodenansatz des CEval kamen bei der Datenerhebung neben leitfadengestützten Intensivinterviews mit den Programmverantwortlichen und Vertretern der Partnerorganisationen, standardisierte Befragungen weiterer Programmbeteiligter (z.B. freiwillige Unterstützer) sowie eine Dokumentenanalyse zum Einsatz. | 10/2010 | 2/2011 | Dr. Stefan Silvestrini | Plan International Deutschland e.V. |
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2009-2011)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das in 2009 in der zweiten Phase laufende Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks - Bischöfliche Studienförderung setzt auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene AkademikerInnen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichnen sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. ihrer Promotion in maximal einem Jahr anvisiert ist oder dass sie Berufsanfängerinnen sind.
Zur Qualitätssicherung des Förderprogramms führt das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen MitarbeiterInnen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen des Cusanuswerks, zur organisatorischen Ausgestaltung und Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Methodisch umfasst die Evaluation eine Sekundäranalyse vorliegender Dokumente, eine Gruppendiskussion, vier standardisierte Online-Befragungen sowie die Erstellung drei qualitativer Tandem-Fallstudien. Im Mittelpunkt der standardisierten Befragungen stehen die Zufriedenheit mit dem Karriereförderprogramm sowie die Qualität der Beziehung zwischen den Nachwuchskräften und ihren TutorInnen. Die Datenerhebungen finden begleitend zur 15-monatigen Dauer des Karriereförderprogramms statt. Damit erhält die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dieses Vorgehen ermöglicht eine frühe Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen zu deren Behebung. Da das CEval auch die Pilotphase des Förderprogramms begleitend evaluierte, können zusätzlich Vergleiche zwischen den beiden Förderphasen gezogen werden.
| 10/2009 | 2/2011 | Dr. Vera Hennefeld | Cusanuswerk - Bischöfliche Studienförderung |
Evaluation des Programms ‚Bi-nationales Promotionsnetzwerk’ (PhD-Net)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Ziel des BMBF-geförderten DAAD-Programms „Bi-nationales Promotionsnetzwerk“ (PhD-Net) ist es, Kooperationen zwischen deutschen und ausländischen Hochschulen auf dem Gebiet der Doktorandenausbildung zu initiieren und zu fördern, um ausländischen Doktoranden grenzüberschreitende, binationale Promotionen zu ermöglichen und hochqualifizierte ausländische Nachwuchswissenschaftler für eine wissenschaftliche Karriere in Deutschland und/oder für den Aufbau wissenschaftlicher Kooperationsbeziehungen mit Deutschland zu gewinnen. Förderungsfähig sind dabei sowohl Anbahnungsreisen und Summer Schools als auch Promotionsprogramme.
Im Rahmen der Evaluationsstudie wird die Zielerreichung und Wirksamkeit des PhD-Net-Programms untersucht. Aufgabe ist es, sowohl die Erreichung der unmittelbaren
Ziele, die sich direkt aus den drei Förderlinien ableiten lassen, zu ermitteln als auch eine Aussage über die Verwirklichung der mittel- und langfristigen Ziele auf institutioneller sowie individueller Ebene zu treffen. Ergänzend dazu soll die Effizienz des Programms bewertet werden. Hierbei ist zum einen zu analysieren, ob und inwieweit die Fördermaßnahmen sinnvoll aufgebaut sind, welche konkreten Maßnahmen innerhalb der Projekte durchgeführt wurden und welche Maßnahmen sich als besonders bzw. weniger effizient und wirksam im Hinblick auf die Zielerreichung erwiesen haben. Zum anderen sollen die Programmadministration sowie die Programmdurchführung durch den DAAD und verwendete Monitoringinstrumente untersucht und bewertet werden.
Aus den dabei gewonnenen Erkenntnissen sind konkrete Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Förderprogramms „International promovieren in Deutschland“ (IPID) zu erarbeiten, welches eine derzeit geplante Laufzeit von 2010 bis 2013 hat.
| 9/2010 | 2/2011 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
EASY-ECO 2005-2010 - Evaluation of SustainabilityLeiter: Dr. Wolfgang Meyer Mitarbeiter: Dr. Stefan Silvestrini Beschreibung EASY-ECO 2005-2007 war eine Serie von sieben Veranstaltungen (drei Konferenzen und vier Trainingskurse), die bis Ende 2007 in Deutschland, Großbritannien, Österreich, Polen, Rumänien, der Slowakei und in Ungarn stattfand.
Thema der Veranstaltungsreihe war die Evaluation nachhaltiger Entwicklung. Dabei lag der Schwerpunkt unter anderem auf dem Austausch von praktischen
Erfahrungen und neuen wissenschaftlichen Erkenntnissen sowie der
Qualifizierung von Nachwuchswissenschaftlern und Nachwuchswissenschaftlerinnen insbesondere in den neuen Mitgliedsstaaten der Europäischen Union.
Zu den Veranstaltungen wurden mehr als 600 Personen aus Wissenschaft, Politik und Praxis als Teilnehmer erwartet. Das CEval organisierte dabei vom 11.10.-14.10.2006 eine Konferenz im Saarland. Diese war zugleich die einzige Veranstaltung zu EASY-ECO 2005-2007 in Deutschland. Die Veranstaltungsreihe EASY ECO 2005-2007 wurde gefördert durch die "Marie Curie Conferences and Training Courses" innerhalb des Sechsten Rahmenprogramms der Europäischen Union. Aufgrund der dadurch vorhandenen
Fördermittel konnten NachwuchswissenschaftlerInnen die Übernahme sämtlicher Kosten für die Teilnahme an bis zu zwei Konferenzen und einem Trainingskurs beantragen.
Ausführliche Informationen über das Projekt EASY-ECO 2005-2007 und seine Ziele, die beteiligten Institutionen sowie Ihre Teilnahmemöglichkeiten finden Sie auf www.ceval.de/easyeco. | 1/2005 | 12/2010 | Dr. Wolfgang Meyer | Marie-Curie-Programm der Europäischen Union |
Projektfortschrittkontrolle „Starke Verbraucher für ein Gutes Klima“ im Rahmen der Klimaschutzinitiative der BundesregierungLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Hansjörg Gaus Beschreibung Das Projekt „Starke Verbraucher für ein gutes Klima“ wird von der Verbraucherzentrale Bundesverband e.V. als Dachorganisation der 16 Verbraucherzentralen der Bundesländer in Kooperation mit fünf weiteren verbraucherpolitisch orientierten Verbänden im Auftrag des Bundesministeriums für Umwelt, Naturschutz und Reaktorsicherheit (BMU) durchgeführt. Ziel des Projektes ist es, die Akzeptanz für Klimaschutzmaßnahmen zu erhöhen und das Potenzial privater Haushalte beim Verhalten, Konsumieren und Investieren für den Klimaschutz besser zu nutzen.
Die begleitende Projektfortschrittkontrolle widmet sich insbesondere der externen Wirksamkeit des Klimaprojekts und versucht darüber hinaus, Best-Practice Beispiele im Rahmen eines benchmarking-Verfahrens zu ermitteln. Zu den Arbeitsaufgaben gehört die Entwicklung von Erhebungsinstrumenten, die Durchführung von Datenerhebungen, die Auswertung selbst- und fremderhobener Daten, eine begleitende und möglichst aktuelle Berichterstattung (u.a. durch zeitnahe Dokumentationen von Ergebnissen für die Intranetplattform ELVIS) während des Projektverlaufs sowie zur Dokumentation der Zwischen- und Abschlusskontrolle. | 7/2009 | 12/2010 | Dr. Wolfgang Meyer | Verbraucherzentrale Bundesverband (VZVB) |
Zwischenevaluierung des InWEnt-Programms “Dialogforen mit Ankerländern - Auf dem Weg zu einer globalen Partnerschaft (2008-2010)“Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Zwischenevaluierung waren die seit 2008 von InWEnt durchgeführten Maßnahmen im Rahmen des Programms „Dialogforen mit Ankerländern“, welche eine Intensivierung des internationalen Erfahrungsaustauschs zu den aktuellen globalen Herausforderungen im Finanzsektor und im Bereich der Klimaentwicklung zum Ziel haben. Auf der Programmzielebene geht es darum, politische Gestaltungsspielräume für kooperative Politikansätze zur Wahrung der beiden globalen öffentlichen Güter „Begrenzung des Klimawandels und Stärkung der internationalen Finanzmarktstabilität“ zu vergrößern. Im Rahmen von Dialogforen sollen die Teilnehmer dazu befähigt werden, ihre Regierungen in der Wahrnehmung ihrer internationalen Verantwortung zur Sicherung dieser Güter durch eine konstruktive Mitgestaltung in formellen Global Governance Strukturen zu unterstützen.
Ziel dieser Untersuchung war es, auf der Basis der Analyse- und Bewertungsergebnisse eine Entscheidungsgrundlage für die von InWEnt beantragte Programmfortsetzung in den Jahren 2011/2012 zu erhalten. Entsprechend den DAC-Kriterien wurden die Effektivität, die Effizienz und die Nachhaltigkeit des Programms bewertet sowie Empfehlungen zur Kohärenz, Koordination und Komplementarität mit den Maßnahmen anderer deutscher Geber formuliert. Des Weiteren galt es die bislang erzielten Ergebnisse im Hinblick auf ihre Relevanz sowie ihre mittel- und langfristige Wirkung hin zu untersuchen.
Methodisch basierte die Evaluation auf Sekundär- und Dokumentenanalysen, ca. 50 leitfadengestützten Intensivinterviews, zwei teilstandardisierten Online-Befragungen aller Dialogforen-Teilnehmer beider Komponenten sowie auf der Teilnahme an zwei Dialogforen in China.
| 8/2010 | 12/2010 | Dr. Stefan Silvestrini | Internationale Weiterbildung und Entwicklung gGmbH (InWEnt) |
Evaluation der Sonderprogramme zum wissenschaftlichen Wiederaufbau in Südosteuropa der Alexander von Humboldt-StiftungLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Balkankriege und fortdauernde politische Spannungen hatten verheerende Auswirkungen für das Wissenschaftssystem in den neu entstandenen Staaten des ehemaligen Jugoslawiens. Damit verbunden waren auch Beeinträchtigungen in der gesamten Region Südosteuropa (SOE). Zur Förderung des Wiederaufbaus des Wissenschaftssystems in SOE hat die Alexander von Humboldt-Stiftung (AvH) neue Förderinstrumente entwickelt, für die im Bereich der Geistes- und Sozialwissenschaften von der Fritz Thyssen Stiftung und im Bereich der Natur- und Ingenieurwissenschaften vom Auswärtigen Amt finanzielle Mittel zur Verfügung gestellt wurden. Die Sonderprogramme zielen auf eine Förderung der wissenschaftlichen Vernetzung innerhalb der Region, die Wiederanbindung an die deutsche und internationale Forschungsgemeinschaft sowie die Förderung des wissenschaftlichen Nachwuchses.
Als Instrumente wurden in beiden Sonderprogrammen sog. ‚Tandem-Wiedereinladungen’ an deutsche Forschungsinstitute – für erfahrene Humboldtianer in Begleitung eines Nachwuchswissenschaftlers – und die Finanzierung ‚Regionaler Fachtagungen’ eingesetzt.
Aufgabe der summativen Evaluation war die durch die Sonderprogramme erreichten Wirkungen zu überprüfen und Einschätzungen zur Tauglichkeit der entwickelten Förderinstrumente im Hinblick auf die Verwendung in Krisenregionen im Allgemeinen abzugeben.
Methodisch basierte die Evaluation auf Dokumenten- und Sekundäranalysen für beide Förderinstrumente. Insbesondere Sekundäranalysen vorliegender Befragungsdaten der Geförderten und anderer Programmbeteiligter bildeten einen Schwerpunkt der Evaluation. Zur Klärung der Kontextbedingungen unter denen die Förderungen stattfanden erfolgten Internet- und Literaturrecherchen sowie Leitfaden gestützte Experteninterviews. Zur Erhebung von längerfristigen Programmwirkungen wurde für das Förderinstrument ‚Tandem-Wiedereinladungen’ eine standardisierte Online-Befragung der geförderten Nachwuchswissenschaftler eingesetzt; für die Bewertung des Förderinstruments ‚Regionale Fachtagungen’ wurden Leitfaden gestützte telefonische Interviews mit Organisatoren von Tagungen und weiteren Stakeholdern durchgeführt. | 5/2009 | 10/2010 | Dr. Vera Hennefeld | Alexander von Humboldt-Stiftung (AvH) |
Evaluation der Mitarbeitergespräche 2010 der Aktien-Gesellschaft der Dillinger HüttenwerkeLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.
Aufgabe des CEval im Rahmen der Evaluation war zum einen die Bewertung der Effektivität der MAG und zum anderen sollten verschiedene Gesprächselemente und die Verständlichkeit des Instruments insgesamt bewertet und geeignete Optimierungsmaßnahmen identifiziert werden.
Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 20 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt. | 6/2010 | 9/2010 | Dr. Vera Hennefeld | AG der Dillinger Hüttenwerke |
Evaluation der Richtlinie des Brandenburgischen Wirtschaftsministeriums zur Förderung des wirtschaftsbezogenen TechnologietransfersLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der federführend von PricewaterhouseCoopers (PwC) durchgeführten Evaluation war die 2007 überarbeitete Richtlinie des Brandenburgischen Wirtschaftsministeriums zur Förderung des wirtschaftsbezogenen Technologietransfers, die eine stärkere Branchenfokussierung und eine intensivere Integration der beteiligten Akteure und Institutionen in das Transfersystem zum Ziel hat.
Im Rahmen der Untersuchung war es Aufgabe des CEval bei den Zielgruppen des Technologietransfers (Unternehmen und Wissenschaftler) ein repräsentatives Meinungsbild hinsichtlich der Einschätzung von Effektivität und Effizienz der Umsetzung der Richtlinie zu gewinnen. Hierzu wurden vom CEval in Abstimmung mit PwC und dem Brandenburgischen Wirtschaftsministerium zwei standardisierte Online-Befragungen konzipiert und durchgeführt. Die Erhebungsdaten wurden anschließend mittels deskriptiver und inferenzieller statistischer Verfahren ausgewertet und mit den von PwC erhobenen qualitativen Interviewdaten trianguliert. Die Ergebnisse nehmen Eingang in das von PwC zu erstellende Gutachten und bilden dabei die empirische Grundlage für die darin auszuarbeitenden Empfehlungen zur zukünftigen Gestaltung der Richtlinie. | 1/2010 | 8/2010 | Dr. Stefan Silvestrini | Pricewaterhouse Coopers (PwC) |
Evaluation 2010 der Wirtschaftsinitiative NachhaltigkeitLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Die Wirtschaftsinitiative Nachhaltigkeit (WIN) des Landes Steiermark wurde im Dezember 2002 vom Land Steiermark (Fachabteilung 19D), der Wirtschaftskammer Steiermark (WK-Stmk) und der Steirischen Wirtschaftsförderung (SFG) ins Leben gerufen. Diese Initiative hat zum Ziel das Leitbild der Nachhaltigen Entwicklung zu verbreiten und diese in ausgewählten Schwerpunktbereichen der steirischen Wirtschaft effektiv umzusetzen, um dadurch die erfolgreiche Entwicklung der steirischen Wirtschaft zu unterstützen. Zu diesem Zweck bietet die WIN spezielle Beratungsprogramme für Unternehmer und Organisationen zu Themen der Nachhaltigkeit und des Umweltschutzes an, die von sogenannten WIN-Beratern durchgeführt werden.
Ende 2009 kann die WIN auf drei Programmperioden zurückblicken.
Ziel der Evaluation war es einerseits, das WIN-Programm bezüglich seiner Effektivität und Effizienz zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms und seiner Umsetzung voranzutreiben. Andererseits sollten Zukunftsperspektiven der Wirtschaftsinitiative Nachhaltigkeit aufgezeigt werden.
Methodisch umfasste die Evaluation eine Sekundäranalyse vorliegender Dokumente, teilstandardisierte Telefoninterviews mit Teilnehmern und Beratern, sowie leitfadengestützte telefonische Kurzinterviews mit weiteren Stakeholdern. | 5/2010 | 8/2010 | Dr. Wolfgang Meyer | Steiermärkische Landesregierung |
Evaluation der Initiative „Kultur und Entwicklung“Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Goethe-Institut fördert mit seiner Initiative „Kultur und Entwicklung“ durch spezifische Beratungs- und Bildungsprogramme Institutionen und Akteure aus Kultur, Medien und Gesellschaft vor allem in Ländern der Entwicklungszusammenarbeit. Diese Programme zielen auf berufliche Qualifizierung, beraten und fördern den Aufbau von Netzwerken und schaffen kulturelle und zivil- gesellschaftliche Plattformen.
Aufgabe der Evaluation war es einerseits, den Planungs-, Implementations- und Durchführungsprozess durch das Goethe-Institut zu analysieren und zu bewerten und andererseits eine Relevanz- und Effektivitätsanalyse vorzunehmen.
Zur Datengewinnung wurden Dokumenten- und Sekundäranalysen eingesetzt und ca. 30-40 leitfadengestützte Intensivinterviews geführt. | 12/2009 | 6/2010 | Dr. Vera Hennefeld | Goethe-Institut e.V. |
Evaluierung Hochschulbildung in Nicaragua und Südosteuropa 2005-2009Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Evaluation war die Maßnahmen zur Unterstützung des Hochschulsektors in den Schwerpunktländern der österreichischen Entwicklungszusammenarbeit (OEZA) in Südosteuropa (SOE) sowie Lateinamerika
(LA). Während der Fokus der OEZA in SOE auf arbeitsmarktorientierter Hochschulbildung und der Integration in den Europäischen Hochschul- und Forschungsraum liegt, wurden in LA vor allem Bildungsprojekte zur Stärkung von Minoritäten gefördert.
Aufgabe der Evaluation war es, die bisher erzielten Ergebnisse auf ihre Relevanz, Effektivität, entwicklungspolitische Wirksamkeit und Nachhaltigkeit hin zu untersuchen. Des Weiteren sollten die Capacity-Building Effekte bei den Partnerorganisationen sowie deren Ownership bewertet werden. Ausgehend von einer umfassenden
Dokumentenanalyse wurden hierfür im Rahmen dreier Feldstudien in Nicaragua, Serbien und dem Kosovo empirische Daten an den jeweiligen Standorten gesammelt und in einem Synthesebericht vergleichend
ausgewertet.
Ziel war es dabei insbesondere Optionen für zukünftige Interventionen, entsprechend den strategischen Zielsetzungen der OEZA in den Bereichen Hochschulbildung und Wissenschaftskooperation, im Sinne der Entwicklung eines kohärenten programmbasierten Ansatzes aufzuzeigen. | 2/2010 | 6/2010 | Dr. Stefan Silvestrini | Austrian Development Agency (ADA) |
Begleitende Evaluation der Medienhilfe für Zentralasien 2009Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Bei dem Projekt „Medienhilfe für Zentralasien 2009“ handelte es sich um ein Bündel von insgesamt 5 übergreifenden Trainings und 13 Inhouse-Trainings für zentralasiatische Radiosender, die in den beteiligten Ländern der Region sowie in Deutschland durch die Deutsche Welle-AKADEMIE realisiert wurden. Ausgangspunkt für die Zusammenarbeit der Radiostationen mit der Deutsche Welle-AKADEMIE waren Zielvereinbarungen. Diese Zielvereinbarungen nahmen für die Evaluation eine wichtige Rolle ein, da die Überprüfung der Zielerreichung als Aufgabe der Evaluation auf Basis der Zielvereinbarungen erfolgte. Hierzu wurden begleitende standardisierte Befragungen der Trainingsteilnehmer durchgeführt, deren Ergebnisse zeitnah an die Deutsche Welle-AKADEMIE übermittelt wurden. Ca. 4 bis 5 Monate nach Abschluss der Einzelmaßnahmen erfolgte eine summative Abschlussbefragung der beteiligten Sender, in der die Überprüfung des Erreichens der vereinbarten Ziele im Zentrum des Interesses stand. | 7/2009 | 5/2010 | Dr. Vera Hennefeld | Deutsche Welle (DW) |
Begleitende Untersuchung der Einführung gemeinsamer Programmvorschläge und gemeinsamer Berichterstattung in der deutschen EntwicklungszusammenarbeitLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Zuge der Paris Declaration und der dadurch angestiegenen Anforderungen an die deutsche Entwicklungszusammenarbeit wird seit Mitte 2007 vom BMZ eine neue Verfahrensweise zur gemeinsamen Erstellung von Programmvorschlägen und Berichten eingeführt. Zielsetzung dieser neuen Verfahrensweise ist es, die Wirksamkeit der deutschen EZ durch die Verbesserung der politischen Steuerungsmöglichkeiten des BMZ zu erhöhen, die Abstimmung der DOs untereinander zu optimieren, die Effizienz der Ausgestaltung des Beitrags der deutschen EZ zur Armutsbekämpfung zu steigern sowie die Einbindung der Strategie des Partnerlandes und deren Verzahnung mit Beiträgen anderer Geber zu verbessern. Durch die Steigerung der Wirksamkeit der deutschen EZ soll ein wesentlicher Beitrag zur Erreichung der MDGs geleistet werden.
Ziel der Studie war es entsprechend, den Aufwand und Ertrag des Einsatzes gemeinsamer Programmvorschläge und gemeinsamer Berichterstattung zu analysieren sowie beabsichtigte und unbeabsichtigte Wirkungen zu ermitteln. Hierzu wurden 2008 im Rahmen zweier Länderstudien, einer mündlichen Befragung der mit der Konzeption der Verfahrensweise befassten Mitarbeiter aller staatlichen Durchführungsorganisationen sowie einer standardisierten Erhebung bei den Programmverantwortlichen Basisdaten erhoben. 2010 wurde eine weitere Erhebung realisiert, aufgrund derer die Wirkungshypothesen überprüft werden konnten. | 11/2008 | 3/2010 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ), Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
Handreichung Auswahl und Messung von Indikatoren im Bereich Berufliche Bildung und ArbeitsmarktLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Spätestens seit der Verabschiedung der Milleniumserklärung der Vereinten Nationen im September 2000 kommt der Frage nach den Wirkungen von Entwicklungszusammenarbeit eine zentrale Bedeutung zu. Um zu ermitteln, ob eine Entwicklungsmaßnahme die erwünschten positiven Wirkungen erreicht und negative Nebenwirkungen vermeidet, werden Indikatoren als Hilfsinstrumente eingesetzt. Die Auswahl von geeigneten Indikatoren und deren Messung stellt Verantwortliche in Vorhaben der Beruflichen Bildung oftmals vor große Herausforderungen. Das CEval entwickelt eine Handreichung zur praktikablen Herangehensweisen für die Auswahl und Messung von Indikatoren im Zusammenhang von Maßnahmen der Beruflichen Bildung für die GTZ. Dabei werden u.a. folgende Fragen beantwortet:
- Welche Indikatoren sind besonders geeignet, die klassischen Ziele von Maßnahmen der Beruflichen Bildung abzubilden?
- Welche Daten werden in welcher Qualität benötigt?
- Welche Methoden sollen zur Datenerhebung bzw. Messung angewandt werden?
- Wie kann der Forderung nach Baseline-Daten und der Ermittlung von Nettowirkungen praktikabel nachgekommen werden?
| 9/2009 | 3/2010 | Dr. Wolfgang Meyer | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Zwischenevaluierung der Initiative „Schulen: Partner der Zukunft“ (PASCH)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Februar 2008 wurde die Initiative „Schulen: Partner der Zukunft“ von Außenminister Steinmeier ins Leben gerufen. Akteure des Programms sind neben dem Auswärtigen Amt die Zentralstelle für das Auslandsschulwesen, das Goethe-Institut, der Deutsche Akademische Austauschdienst sowie der Pädagogische Austauschdienst. Programmziel ist, das weltweite Netzwerk von Partnerschulen mit verstärkter Deutschlandbindung auszubauen, um zukünftige Partner für die deutsche Wirtschaft, Politik, Wissenschaft, Bildung und Kultur zu gewinnen und den Wirtschaftsstandort Deutschland im Bildungswettbewerb zu stärken. Geographische Schwerpunkte des Programms sind die Wachstumsregionen Asien, Naher und Mittlerer Osten, GUS sowie Mittel- und Osteuropa.
Gegenstand der Zwischenevaluation ist die Überprüfung der Effektivität, der Relevanz und der Effizienz der bisherigen Maßnahmen und eingesetzten Instrumente. Zudem sollen Hinweise zur Wirksamkeit und der zu erwartenden Nachhaltigkeit des Programms abgeleitet werden.
Methodisch basiert die Zwischenevaluierung auf Dokumentenanalysen und standardisierten Befragungen unterschiedlicher Schülergruppen. Zudem werden in drei ausgewählten Ländern Länderfallstudien durchgeführt, in deren Rahmen Leitfadeninterviews mit Experten und Partnerschulen vor Ort geführt werden. | 6/2009 | 12/2009 | Dr. Vera Hennefeld | Auswärtiges Amt (AA) |
Arbeitsmarktpolitische Instrumente zur Beschäftigungssicherung älterer Arbeitnehmer und Arbeitnehmerinnen im SaarlandLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Bundesprogramm "Perspektive 50plus" des Bundesministeriums für Arbeit und Soziales (BMAS) bildet das Dach für bundesweit 62 regionale Beschäftigungspakte zur beruflichen Wiedereingliederung älterer Langzeitarbeitsloser. Das Programm basiert auf einem regionalen Ansatz, der es den Beschäftigungspakten erlaubt, bei der Wahl der Integrationsstrategie gezielt auf die regionalen Besonderheiten einzugehen. Unterschiedliche Wege werden beschritten, um älteren Langzeitarbeitslosen eine faire Chance am Arbeitsmarkt zu bieten.
Das Forschungsprojekt hat zum Ziel auf Basis von sekundäranalytischen Analysen regionale Beschäftigungspakte zu identifizieren, deren Maßnahmen und Konzepte im Hinblick auf die Situation am saarländischen Arbeitsmarkt als ‚best practice’ gelten können.
In Bezug auf diese Maßnahmen werden leitfadengestützte Interviews mit relevanten Arbeitsmarktakteuren im Saarland und aus den identifizierten Pakten geführt, um Empfehlungen für die Übernahme und ggf. Anpassung erfolgversprechender Maßnahmen und Konzepte ableiten zu können. | 2/2009 | 12/2009 | Dr. Wolfgang Meyer | Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA), Arbeitskammer des Saarlandes (AK) |
GTZ-Rahmenvertrag 2007-2009 zur Durchführung von Unabhängigen Evaluierungen und Wirkungsevaluierungen von Programmen der technischen ZusammenarbeitLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hat ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und lässt seither im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen evaluieren (je ca. zehn Evaluierungen laufender Vorhaben, zehn Schluss- und zehn ex-post Evaluierungen). Hierfür wurde u.a. mit dem CEval ein zweiter Rahmenvertrag für die Jahre 2007 bis 2009 geschlossen.
Im Rahmen des Auftrages führte das CEval im Auftrag der GTZ in diesem Zeitraum 15 Unabhängige Evaluierungen und Wirkungsevaluierungen in den Sektoren Energie, Wasser, Mikrofinanzen und Berufliche Bildung durch.
Vier der Vorhaben evaluierten CEval-Mitarbeiter als Wirkungsevaluationen zur Erprobung eines durch das CEval erstellten Konzepts, zur methodisch anspruchsvolleren Wirkungsmessung im Rahmen von GTZ Unabhängigen Evaluierungen in Anlehnung an Rigorous Impact Evaluations (RIE). Prämisse des Konzepts war die Berücksichtigung des Leitfadens zur Erfolgsbewertung von GTZ unabhängigen Evaluierungen und der Alltagstauglichkeit, d.h. die Durchführung unter vertretbarem zeitlichem und finanziellem Rahmen. Das methodische Konzept beinhaltete: (a) Hypothesengeleitete Ursache-Wirkungsuntersuchung unter Berücksichtigung der GTZ Wirkungskette, (b) Quasiexperimentelles Forschungsdesign mit Vorher-Nachher Ansatz sowie Ziel- und Vergleichsgruppenansatz, (c) Multi-Methoden-Ansatz mit Berücksichtigung einer standardisierten Zielgruppenbefragung und (d) Adäquate Datenauswertungsmethoden (Einsatz von uni- und multivariaten statistischen Analyseverfahren). Wirkungen/Veränderungen sollten zu den Messzeitpunkten t1 (Ausgangssituation) und t2 (Zeitpunkt der Evaluation) identifiziert und die kausale Zuschreibung zum Evaluationsgegenstand (kausale Ursache-Wirkungszuschreibung) ermöglicht werden.
Alle weiteren elf Evaluierungen wurden unter der Koordination von Nicolà Reade und Stefan Silvestrini von CEval-Mitarbeitern sowie externen Gutachtern aus dem In- und Ausland umgesetzt.
Zu den Evaluierungen und Wirkungsevaluierungen in 2007 bis 2009 gehörten:
- Laufende Evaluierung der GTZ Entwicklungsmaßnahme „Förderung produktiver Kleinwasserkraftnutzung, Nepal" (2007)
- Laufende Evaluierung der GTZ Entwicklungsmaßnahme „ProBEC Effiziente Nutzung von Biomassenenergie im Südlichen Afrika" (2007)
- Schluss Evaluierung der GTZ Entwicklungsmaßnahme „Förderung von Klein- und Mittelunternehmen, Mongolei" (2007)
- Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Beratung zur Förderung der rationellen Energieverwendung (DEDP), Thailand" (2007)
- Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Energieeinsparung in Klein- und Mittelindustrie im Bundesstaat Rio de Janeiro, Brasilien" (2007)
- Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Förderung der Energieeffizienz in Gebäuden in Erzurum, Türkei" (2007)
- Laufende Wirkungsevaluierung des KV Programms "Entwicklung des Wassersektors, Kenia" (2008)
- Laufende Wirkungsevaluierung des KV "Programms für die Reform des Wassersektors, Sambia" (2008)
- Ex-post Wirkungsevaluierung des GTZ Vorhabens "Qualifizierung kommunaler Dienste (TODAIE), Türkei" (2008)
- Laufende Evaluierung des KV Programms "Trinkwasser- und Sanitärprogramm PROAGUA, Peru" (2008)
- Schluss Evaluierung des KV Programms "Verbesserung der Wasserversorgung in der Volta- und Eastern-Region, Ghana" (2008)
- Schluss Evaluierung des GTZ Vorhabens "Wassereinzugsgebiets-Management, Rio Lerma im Tal von Toluca und Rio Balsas, Mexiko" (2008)
- Gemeinsame Ex-post Wirkungsevaluierung des Vorhabens "TESDA, Philippinen" (2009)
- Zwischenevaluierung des Projekts "Unterstützung des Ukrainischen Finanzwesens" (2009)
- Ex-post Evaluierung des KV Programms "Finanzsystementwicklung, Bolivien" (2009)
| 4/2007 | 12/2009 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Evaluation der Konferenz „Sprache und Integration"Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Goethe-Institut als zentraler Sprach- und Kulturmittler der deutschen Auswärtigen Kultur- und Bildungspolitik initiierte von 2008 bis 2009 mit verschiedenen Partnern in einem zweijährigen Programmschwerpunkt das internationale Projekt „Sprachen ohne Grenzen“. Ziel ist es, die besondere Bedeutung und den besonderen Nutzen von Mehrsprachigkeit für Politik, Wissenschaft und Wirtschaft von Gesellschaften sowie für die Gesellschaft als Ganzes und für die Entwicklung der einzelnen Individuen zu verdeutlichen. Hierdurch soll ein Beitrag zur Erhaltung und Förderung der Sprachenvielfalt v.a. in der EU geleistet und damit auch die Integration innerhalb der EU gefördert werden.
„Sprachen ohne Grenzen“ setzt sich aus verschiedenen Säulen zusammen. Im Rahmen der zentralen Abschlussveranstaltung zum Programm deckt die Konferenz „Sprache und Integration“ die Programmsäule Mehrsprachigkeit und Politik ab. Im Rahmen der zweitägigen Konferenz werden an je einem Tag die Themen „Prüfungen“ und „Herkunftssprachen“ behandelt; die Konferenz endet mit einer Podiumsdiskussion. Im Rahmen der Konferenz werden etwa 20 ReferentInnen aktiv zur Programmgestaltung beitragen und es werden ca. 200 BesucherInnen erwartet, die sich aus PraktikerInnen, beratenden Fachleuten und BildungspolitikerInnen zusammensetzen.
Aufgabe der Evaluation ist zum einen eine Bewertung der Zielerreichung, indem zu untersuchen ist, ob ein nachhaltiger Erfahrungs- und Informationsaustausch zwischen Sprachexperten und Entscheidungsträgern der Mitgliedstaaten der EU zum Thema „Sprache und Integration“ initiiert und gefördert wurde. Zum anderen soll eine Erhebung der Zufriedenheit der Konferenzteilnehmer u.a. Aufschluss über die Relevanz der gewählten Themen geben. Hierzu werden alle BesucherInnen und ReferentInnen mittels eines standardisierten Fragebogens befragt. | 8/2009 | 11/2009 | Dr. Vera Hennefeld | Goethe-Institut e.V. |
Evaluation des African Good Governance Networks (AGGN)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Junge, an deutschen Hochschulen ausgebildete Afrikanerinnen und Afrikanern werden seitens des DAAD als wichtige ‚Resource-Persons’ angesehen, die dazu in der Lage sind, nach ihrer Rückkehr in ihre Heimatländer in Prozessen der Entwicklung zu mehr Rechtsstaatlichkeit, Demokratie und wirtschaftlicher Prosperität eine wichtige Schlüsselrolle einzunehmen. Anfang 2007 wurde das African Good Governance Network (AGGN) unter der Schirmherrschaft des Bundespräsidenten ins Leben gerufen. Mittels dieses Netzwerks soll ein Beitrag zur Ausweitung und Vertiefung der akademischen Zusammenarbeit zwischen Afrika/Subsahara und Deutschland geleistet werden und zugleich sollen künftige afrikanische Führungskräfte im Bereich guter Regierungsführung gefördert werden. Die Mitglieder des AGGN unterstützen die Prinzipen des Good Governance, erkennen diese an und verbreiten sie aktiv.
Das AGGN kann als langfristig angelegtes Fortbildungsprogramm verstanden werden, in das jährlich bis zu zehn neue Mitglieder aufgenommen werden. Gegenwärtig verfügt das Netzwerk über 32 Mitglieder aus vierzehn afrikanischen Ländern, die sich bis zu dreimal pro Jahr zu Workshops und Seminaren treffen. Inhaltlich beschäftigen sich diese Seminare mit unterschiedlichen theoretischen und praktischen Aspekten zu Good Governance sowie auch zu verschiedenen Personal Skills. Ziel ist es, das Bewusstsein für und das Verständnis von Good Governance und der damit verbundenen gesellschaftlichen Haltung zu stärken.
Aufgabe der Evaluation war zum einen eine Bewertung der bislang erzielten Ergebnisse und Wirkungen sowie davon ausgehend die Ableitung von Handlungsempfehlungen für die Ausgestaltung weiterer Programmaktivitäten und die weitere Entwicklung des Netzwerks unter Berücksichtigung der Potenziale des Netzwerks.
Methodisch basierte die Evaluation auf Sekundär- und Dokumentenanalysen, einer standardisierten Online-Befragung aller AGGN-Mitglieder sowie einer Teilnahme an einem der Seminare der AGGN in Südafrika, in dessen Kontext die Ergebnisse der standardisierten Befragung mit den AGGN-Mitgliedern selbst diskutiert wurden.
| 9/2009 | 11/2009 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
Evaluation der DW-AkademieLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Stefan Silvestrini Beschreibung Seit 2003 arbeitet die DW-Akademie im Kontext der deutschen Medienentwicklungszusammenarbeit und zielt mit ihren
Aktivitäten darauf ab, weltweit die Meinungsfreiheit zu fördern. Durch die Realisierung internationaler Projekte zu
Capacity Building will sie zu mehr Offenheit, Transparenz und Partizipation in den elektronischen Medien von Entwicklungs-
und Transformationsländern beitragen.
Gegenstand der Evaluation sind die Qualifizierungsmaßnahmen, die von der DW-Akademie in den Jahren 2004 bis 2007
durchgeführt wurden. Im Rahmen einer bilanzierenden ex-post Evaluation sollen die Qualität der Planung und
Durchführung dieser Maßnahmen sowie die entwicklungspolitischen Effekte und deren Nachhaltigkeit analysiert
und bewertet werden.
Methodisch basiert die Evaluierung auf Sekundär- und Dokumentenanalysen, standardisierten Befragungen der Dozenten,
Absolventen und Vertretern von Partnerorganisationen der DW-Akademie. Darüber hinaus werden 2009 drei
Länderfallstudien in Vietnam, Tansania und Kolumbien realisiert. | 10/2008 | 10/2009 | Dr. Vera Hennefeld | Deutsche Welle (DW) |
Evaluation des Instituts für Zukunftsenergiesysteme gGmbH (IZES)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das IZES wurde im November 1999 auf Initiative des Landes Saarland, einzelner Energieunternehmen und Energiedienstleister sowie der Universität des Saarlandes und der Hochschule für Technik und Wirtschaft des Saarlandes (HTW) gegründet. Der Zweck der gemeinnützigen Gesellschaft besteht in der Förderung des Umweltschutzes insbesondere durch die anwendungsnahe Forschung und Entwicklung auf dem Gebiet von Zukunftstechnologien und Zukunftsmärkten für Energiesysteme. Dies geschieht durch beratende, begleitende und ausführende Tätigkeiten bei der Initiierung, Konzeption und Umsetzung von innovativen Maßnahmen zur rationellen Energienutzung und zur Nutzung erneuerbarer Energien.
Das IZES hat den Status eines An-Instituts der HTW. Sein Hauptsitz befindet sich im IT Park Saarland, an der HTW und am Innovationszentrum eines Energieunternehmens unterhält das IZES Test- und Demonstrationszentren mit vielfältigen Labor- und Testeinrichtungen.
Die Institutsevaluation soll Stärken und Schwächen des Instituts von Außen beleuchten und im Hinblick auf die Stellung des Instituts in der Forschungslandschaft der Bundesrepublik Deutschland mögliche zusätzliche Betätigungsfelder und Bereiche ohne reelle Zukunftschancen identifizieren. Hierbei soll die Ausrichtung des Instituts mit seinen vier Arbeitsfeldern Energiesystemtechnik, Stoffstrommanagement / Biomassenutzung, Energiewirtschaft / Zukunftsmärkte und Solarforschung untersucht werden. Insbesondere sind die Schwerpunktsetzungen des Instituts in Bezug auf den Einsatz der öffentlichen Fördermittel im Hinblick auf den damit zu erzielenden Nutzen für die Region zu betrachten.
Das Ziel der Evaluation besteht in der Erarbeitung von Empfehlungen im Hinblick auf die Ausrichtung des Instituts für die nächsten fünf bis sieben Jahre.
Methodisches Vorgehen: Die Evaluation des Instituts für Zukunftsenergiesysteme (IZES) erfolgt – vom CEval organisiert und begleitet – in drei Teilschritten:
- Erstellung eines internen Evaluationsberichts durch das IZES
- Befragungen von Auftraggebern, Kooperationspartnern und Aufsichtsratsmitgliedern des IZES durch das CEval
- Durchführung einer externen Evaluation durch Fachgutachter
Als Grundlage für die Erstellung des internen Evaluationsberichts dient ein Fragenkatalog des CEval, der sich weitgehend am ‚Fragenkatalog für die Evaluierung von Einrichtungen der Leibniz-Gemeinschaft’ orientiert, jedoch an die Ausrichtung, Ziele und Bedingungen des IZES sowie die spezifischen Evaluationsziele angepasst wurde. Abweichend vom klassischen Vorgehen bei Institutsevaluationen erfolgen zusätzlich die Befragungen wichtiger Stakeholdergruppen durch das CEval in Form von Leitfaden gestützten telefonischen und persönlichen Interviews. Das CEval erstellt hierzu einen Bericht, der ergänzend zum internen Bericht des IZES der Vorbereitung der externen Fachgutachter dient. Die externe Evaluation durch die Gutachtergruppe erfolgt im Rahmen einer Institutsbegehung, die mit einem Abschlussgespräch unter Einbeziehung des Auftraggebenden Ministeriums endet. Das Abschlussgespräch wird vom CEval moderiert und protokolliert. Im Anschluss an den Begehungstermin erstellen die Fachgutachter einen Bericht zu der externen Evaluation. Die Berichte des IZES, des CEval und der Fachgutachter bilden zusammen den Gesamtbericht zur Evaluation, zu dem das Umweltministerium und das IZES Stellungnahmen abgeben, die in einem Abschlussworkshop diskutiert werden. | 1/2009 | 10/2009 | Prof. Dr. Reinhard Stockmann | Ministerium für Umwelt und Verbraucherschutz des Saarlandes |
Evaluation von eCampus Saar - Bildungsinnovation durch Bildungstechnologien an den Hochschulen des SaarlandesLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand des Projekts „eCampus Saar - Bildungsinnovation durch Bildungstechnologien an den Hochschulen des Saarlandes -“ war einerseits der Ausbau des an der Universität des Saarlandes vorgehaltenen Learning Management Systems CLIX Campus zur Nutzung an der Hochschule für Musik Saar (HfM), der Hochschule der Bildenden Künste Saar (HBK) sowie der Hochschule für Technik und Wirtschaft des Saarlandes (HTW) sowie andererseits die Integration von bestehendem und die Entwicklung von neuen eLearning-Inhalten auch unter Nutzung neuer Web 2.0-Anwendungen und deren Einbindung in das Learning Management System CLIX Campus.
Im Rahmen dieses Projekts führte das CEval eine Sachstands- und Bedarfsanalyse durch. Diese zielte darauf ab, intersubjektiv überprüfbares Wissen über die Ausgangssituationen der Hochschulen im Hinblick auf den vorliegenden eLearning-Content, möglicherweise bereits genutzte Web 2.0-Dienste sowie im Einsatz befindliche Verwaltungs- und Learning Management Systeme zu erstellen. Methodisch wurde hierzu auf eine standardisierte Befragung aller ProfessorInnen der beteiligten Hochschulen sowie auf leitfadengestützte Interviews mit den strategisch und operativ Verantwortlichen der Hochschulen zurückgegriffen. | 7/2009 | 9/2009 | Dr. Vera Hennefeld | Competence Center "Virtuelle Saar Universität" (CC VISU) |
External consultancy advice on certain strategic issues for the NDPHSLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Das 2003 gegründete Netzwerk ‘Northern Dimension Partnership in Public Health and Social Well-Being’ (NDPHS) zielt auf eine Verbesserung der gesundheitlichen und sozialen Bedingungen in den Ländern des Northern Dimension Area ab und legt hierbei seinen Schwerpunkt auf die nordöstlichen Länder Europas.
Aufgabe einer bereits 2008 durchgeführten Evaluation des Netzwerks war es, die NDPHS-Aktivitäten der ersten fünf Jahre seit Bestehen des Netzwerks zu analysieren und Empfehlungen zu dessen Weiterentwicklung zu erarbeiten. Aufbauend auf den Ergebnissen dieser Evaluation wurde im Jahr 2009 eine weiterführende Beratung zur Entwicklung von Indikatoren zur Überprüfung der Zielerreichung realisiert. | 7/2009 | 9/2009 | Dr. Vera Hennefeld | Northern Dimension Partnership in Public Health and Social Well-Being (NDPHS) |
Evaluation des Projekts eCeLLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand des Projektes eCeL (E-Chalk und E-Learning) war die infrastrukturelle Integration eines interaktiven und multimedialen eChalk-Systems in ausgewählten Lehrveranstaltungsräumen der Fakultäten Mathematik und Medizin der Universität des Saarlandes. Es verfolgte also den Aufbau einer „elektronischen Tafel“ und deren Verknüpfung mit dem e-Learning-System activeMath sowie dem Learning-Management-System der Universität des Saarlandes, CLIX Campus. Das Projekt zielte somit auf eine überdauernde, substantielle Verbesserung der Wissensvermittlung, Betreuung und Prüfungsvorbereitung der Studierenden.
Aufgrund des Modellcharakters von eCeL an der Universität des Saarlandes wurde im Rahmen der Evaluation eruiert, inwiefern die angestrebten Verbesserungen der Lehr-Lern-Situationen erreicht werden. Methodisch wurde hierzu auf teilnehmende Beobachtungen, leitfadengestützte Befragungen der Veranstaltungsleiter und standardisierte Befragungen der Studierenden zurückgegriffen. | 5/2009 | 8/2009 | Dr. Vera Hennefeld | Competence Center "Virtuelle Saar Universität" (CC VISU) |
Teilevaluierung des Stipendiatenprogramms des Vereins Freunde und Förderer der Villa AuroraLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Seit 1995 vergibt der Verein „Kreis der Freunde und Förderer der Villa Aurora e.V.“, einer der kleineren Mittlerorganisationen der Auswärtigen Kultur- und Bildungspolitik mit Sitz in Berlin und Los Angeles, jährlich zwölf bis fünfzehn Stipendien an in Deutschland lebende und arbeitende Künstler für einen dreimonatigen Arbeitsaufenthalt in der Künstlerresidenz Villa Aurora in Los Angeles und führt zusammen mit lokalen Partnern Kulturveranstaltungen durch, die den Stipendiaten Gelegenheit geben, ihre Arbeiten zu präsentieren sowie Kontakte zu dortigen Künstlern und Institutionen aufzubauen.
Gegenstand der Evaluation war die Überprüfung der Qualität, Effizienz und Nachhaltigkeit der Vorbereitung der Stipendiaten durch die Berliner Geschäftsstelle sowie die Vor-Ort- und Nachbetreuung der Stipendiaten.
Methodisch basierte die Evaluation auf Dokumentenanalysen, standardisierten Befragungen aller ehemaliger Stipendiaten und Stipendiatinnen sowie Leitfadeninterviews mit den Verantwortlichen in Berlin und in Los Angeles und den derzeit in der Villa anwesenden Stipendiaten. | 3/2009 | 5/2009 | Dr. Vera Hennefeld | Auswärtiges Amt (AA) |
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das 2007 gestartete Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks - Bischöfliche Studienförderung setzt auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene AkademikerInnen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichnen sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. der Promotion in maximal einem Jahr anvisiert ist oder dass sie Berufsanfängerinnen sind.
Zur Qualitätssicherung des Förderprogramms führte das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend den Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen des Cusanuswerks, zur organisatorischen Ausgestaltung und Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Methodisch umfasste die Evaluation neben einer Sekundäranalyse vorliegender Dokumente und leitfadengestützten Intensivinterviews mit den Verantwortlichen seitens der Träger vor allem standardisierte Erhebungen. Im Mittelpunkt der standardisierten Befragungen standen die Zufriedenheit mit dem Karriereförderprogramm sowie die Qualität der Beziehung zwischen den Nachwuchskräften und ihren TutorInnen. Die Befragungen fanden begleitend zur 15-monatigen Förderphase des Förderprogramms statt. Damit erhielt die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dies ermöglichte eine frühe Identifikation eventueller Probleme sowie eine zeitnahe Entwicklung geeigneter Maßnahmen zu deren Behebung. | 10/2007 | 4/2009 | Dr. Vera Hennefeld | Cusanuswerk - Bischöfliche Studienförderung |
20 Jahre BEST – Arbeitsorientierte Beratung, Bildung und Information im Saarland: Gutachten zur Situation und Entwicklung des Marktes und der Kunden von BESTLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Untersuchung war die Beratungsstelle für sozialverträgliche Technologiegestaltung e.V. (BEST) der
Arbeitskammer des Saarlandes und des DGB Saar. BEST berät, qualifiziert und informiert seit 1989 in erster Linie
Betriebsräte, Personalräte und Mitarbeitervertretungen zu einem breiten Themenspektrum der menschengerechten
Gestaltung von Arbeit und Technik. Die Tätigkeit erfolgt in enger Abstimmung mit den Gewerkschaften mit einem Fokus auf
(arbeitswissenschaftlich) fundierte Problemlösungen. Das Einsatzgebiet von BEST ist in aller Regel das Saarland. Ziel
der Untersuchung war die Erstellung eines Gutachtens zur Situation und Entwicklung des Marktes und der Kunden von BEST
anlässlich des zwanzigjährigen Jubiläums der Beratungsstelle. Das Gutachten soll insbesondere
Zukunftsperspektiven für BEST aufzeigen, indem zukünftige, wesentliche Entwicklungsmöglichkeiten
sowie Themen- und Tätigkeitsfelder von BEST eruiert werden.
Zur Datengewinnung wurden im Rahmen der Studie Dokumentenanalysen und leitfadengestützte Intensivinterviews mit
verschiedenen Experten durchgeführt, die eine interne oder externe Perspektive auf den Untersuchungsgegenstand
wiedergeben sollten (Leitung und MitarbeiterInnen von BEST, Vertreter der tragenden Organisationen (Arbeitskammer, DGB Saar,
saarländische Landesregierung), Kunden, Verbandsvertreter, Arbeitgeber, saarländische Wissenschaftler, Vertreter
anderer Einrichtungen zur technischen Beratung in Deutschland sowie Belegschaftsmitglieder, die bisher keine Leistungen
von BEST in Anspruch genommen hatten). | 10/2008 | 3/2009 | Dr. Wolfgang Meyer | Beratungsstelle für sozialverträgliche Technologiegestaltung e.V. (BEST) |
Evaluation des Projekts ‚Herbst-Camp’Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Der Kreis Bergstraße hat in den Herbstferien 2008 erstmalig ein Feriencamp für Grundschüler
der 4. Jahrgangsstufe durchgeführt. Im Rahmen des Projekts wurden Schüler individuell in den schulischen
Kernfächern Deutsch und/oder Mathematik unterstützt. Neben der fachlichen Förderung erhielten die Schüler
nachmittags unterschiedliche freizeitpädagogische Angebote mit praktischen und gestalterischen Inhalten. Die
Kombination aus schulischer Förderung und pädagogischer Nachmittagsbetreuung zielte auf ein ganzheitliches Lernen
ab. Neben den konkreten schulischen Kompetenzen sollten auf diese Weise auch soziale bzw. motivationale Aspekte des
Lernens wie Selbstkonzept und Sozialverhalten verbessert werden.
Aufgabe der Evaluation war es, den Erfolg der Maßnahme unter Berücksichtigung möglicher
Veränderungen hinsichtlich der oben genannten Gesichtspunkte zu erfassen. Zur Datengewinnung wurden
Dokumentenanalysen, standardisierte Befragungen der Lehrer, Eltern und Schüler sowie Tests und Gruppendiskussionen
eingesetzt. | 9/2008 | 2/2009 | Dr. Vera Hennefeld | Kreis Bergstraße |
Verbleibsstudie zum Programm "MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik"Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das "MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik" ist ein seit 1998 bestehender,
hochschulübergreifender Verbund aller hessischen Universitäten und Fachhochschulen und stellt mit inzwischen 1100
Mitgliedern das größte Mentoring-Projekt in der europäischen Hochschullandschaft dar. Das Netzwerk richtet sich an
Frauen in Natur- und Ingenieurwissenschaften, die sich in der Qualifizierungsphase Studium oder Promotion befinden und zielt
darauf ab, die Absolventinnenzahlen in naturwissenschaftlich-technischen Studiengängen und bei Promotionen zu erhöhen
sowie die Karrierechancen von Frauen in naturwissenschaftlich-technischen Berufen zu verbessern und damit den Frauenanteil
in attraktiven Positionen in Wissenschaft und Wirtschaft zu erhöhen.
Zu diesem Programm führte das Centrum für Evaluation eine Absolventenverbleibsstudie durch, die die in den bisherigen
internen und externen Evaluationen ausgeblendeten, langfristigen Entwicklungen ins Blickfeld nahm.
Hierbei wurde (u.a.) eruiert, wie sich die Teilnahme am MentorinnenNetzwerk für die Absolventinnen in beruflicher
Hinsicht auswirkte.
Zur Datenerhebung wurden zum einen leitfadengestützte Intensivinterviews mit Mentees und Mentorinnen sowie mit den
Verantwortlichen seitens der beteiligten Hochschulen und Unternehmen geführt. Zum anderen wurden mit Online-Befragungen
Daten zu den karrierespezifischen Wirkungen, zur Zufriedenheit der Teilnehmerinnen mit dem MentorinnenNetzwerk sowie zur
Qualität der tutoralen Beziehungen erhoben.
| 3/2008 | 12/2008 | Dr. Vera Hennefeld | MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik |
Evaluation des Programms „Kommunaler Austausch für Fortbildung und Kooperation junger Akademiker“ (kafka)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Evaluation war das Austauschprogramm kafka, bei dem - im Rahmen von Städtepartnerschaften - Studierende aus
sieben Städten in Deutschland, Polen, Tschechien und Ungarn ein Praktikum in einer Behörde, einem kommunalen Unternehmen,
einer Sozial- oder Kultureinrichtung der Partnerstadt absolvieren. Ergänzt wird das Praktikum um ein fachliches
Begleitprogramm, durch das die Teilnehmerinnen und Teilnehmer einen breiten Überblick über die öffentlichen Aufgaben der
Gaststadt erhalten sollen.
Die Evaluation hatte zum Ziel, den längerfristigen Programmerfolg im Hinblick auf die ehemaligen Praktikanten und auch ihre
Arbeitgeberorganisationen zu untersuchen sowie anhand einer Marktrecherche zu Alleinstellungsmerkmalen von kafka
Entwicklungspotenziale des Programms aufzuzeigen.
Hierzu wurden Akten- und Dokumentenanalysen, Internetrecherchen, Interviews mit Mitarbeitern der Stiftung sowie
Online-Befragungen von ehemaligen Praktikanten und ihren Betreuern in den Betrieben durchgeführt. | 8/2008 | 12/2008 | Dr. Vera Hennefeld | Gemeinnützige Hertie-Stiftung (GHS) |
Evaluation des Mediendialogs mit der UkraineLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Seit 1997 organisiert das Institut für Auslandsbeziehungen ifa e.V. als Partner des Auswärtigen Amts
im Kontext der politischen Öffentlichkeitsarbeit Mediendialoge, die darauf abzielen, einen fachlichen
Erfahrungsaustausch über ausgewogene, professionelle und objektive Berichterstattung vor allem in den Themenfeldern
Demokratievermittlung und Stärkung der Menschenrechte zu initiieren. Durch die Begegnungen von Journalisten aus
verschiedenen Ländern und Kulturkreisen sollen neben dem professionellen Erfahrungsaustausch grenzübergreifende
Netzwerke zwischen Journalisten, Medien, Medieninstituten und Universitäten geschaffen werden, die sowohl auf
individueller als auch organisationaler Ebene angesiedelt sein können.
Aufgabe der Evaluation war es, den Anfang September 2008 in der Ukraine realisierten Mediendialog
hinsichtlich der Zielerreichung und ausgelösten Wirkungen zu analysieren. Zur Datengewinnung wurden Dokumentenanalysen,
persönliche Kurz-Interviews während der Veranstaltung sowie eine standardisierte Befragung der Teilnehmer des
Mediendialogs realisiert. | 9/2008 | 11/2008 | Dr. Vera Hennefeld | Auswärtiges Amt (AA) |
Evaluation des Wiederaufbau- und Umsiedlungsprojekts der Caritas Schweiz in Meulaboh und Singkil (Provinz Aceh/Indonesien)Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Prof. Dr. Reinhard Stockmann, Dr. Stefan Silvestrini Beschreibung Im August und September 2008 wurden zwei von der Caritas Schweiz in der indonesischen Provinz Aceh durchgeführte
Wiederaufbau- und Umsiedlungsprojekte evaluiert. Mit den Projekten, die in Folge des Tsunami und eines anschließenden
Nachbebens im Dezember 2005 initiiert wurden, sollte ein Beitrag zur Wiederherstellung der Wohn- und Lebensbedingungen der
von den Katastrophen betroffenen Bevölkerung in zwei Siedlungsgebieten in Küstennähe (Meulaboh und Singkil)
geleistet werden. Im Zentrum des Evaluationsvorhabens stand die Untersuchung und Bewertung der Wirksamkeit der Projekte
für die Begünstigten. Ziel der Evaluationen war es zu überprüfen,
- inwieweit die Begünstigten erreicht wurden und Ihre Partizipationsmöglichkeiten angemessen waren,
- ob die Projektmaßnahmen ausreichend an den Bedarfen der Begünstigten ausgerichtet waren (Relevanz und Signifikanz),
- ob die intendierten Wirkungen in ausreichendem Maße erreicht wurden (Effektivität),
- welche weiteren Wirkungen, also auch nicht intendierte Effekte, die Projekte im gesellschaftlichen Umfeld der
Begünstigten ausgelöst haben und schließlich
- inwieweit von einer Nachhaltigkeit der Wirkungen ausgegangen werden kann und welche weiteren externen Faktoren hierbei eine
Rolle spielen.
Des Weiteren wurden die lokalen Rahmenbedingungen sowie die Effizienz des Umsetzungsprozesses beleuchtet.
Anhand der Untersuchungsergebnisse wurden Empfehlungen für weiterführende Aktivitäten in den Zielregionen
entwickelt.
Im Rahmen der Evaluation kam ein Multi-Methodenansatz zur Anwendung, der die Kombination sekundäranalytischer Verfahren
Dokumentenanalyse, Analyse der Rahmenbedingungen) sowie qualitativer und quantitativer empirischer Erhebungsmethoden
(leitfadengestützte Intensivinterviews, Beobachtung, standardisierte schriftliche Befragung)umfasste. | 7/2008 | 11/2008 | Dr. Stefan Silvestrini | Caritas Schweiz |
Externe Evaluation des 'Programms zur Förderung der Internationalisierung an den deutschen Hochschulen' (PROFIS)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Evaluation ist das vom BMBF finanzierte Programm des DAAD "PROFIS" mit dem Ziel der Verbesserung der Rahmenbedingungen für das Studium ausländischer Studierender an deutschen Hochschulen sowie für das Auslandsstudium deutscher Studierender. Die Untersuchung soll klären, ob die angestrebten Ziele des Programms erreicht wurden, ob die Grundidee der Entwicklung transferfähiger Modelle erfolgreich war, welche Maßnahmen und Projekte sich als besonders erfolgreich erwiesen haben und ob Verbesserungspotentiale in der Programmadministration, der Projektbegleitung und der Förderung der Dissemination identifiziert werden können. Zur Datengewinnung werden im Rahmen der Analyse u.a. standardisierte Online-Befragungen mit Hochschulen und Studierenden sowie Intensivinterviews mit den Programmbeauftragten durchgeführt. | 3/2008 | 10/2008 | Dr. Stefan Silvestrini | Deutscher Akademischer Austauschdienst (DAAD) |
Entwicklung eines Analyserasters für EZ-Maßnahmen zur Stadtentwicklung hinsichtlich ihrer Wirkungen im politischen RaumLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Die Anforderungen an die deutsche EZ, strukturelle Wirkungen in den Partnerländern zu entfalten, die zur Armutsminderung beitragen, haben auch die Ziele sowie Beratungsansätze und -methoden von Stadtentwicklungsvorhaben beeinflusst. Dabei rücken immer stärker Governance-Fragestellungen in den Mittelpunkt, was bedeutet, dass Aushandlungs- und Entscheidungsprozesse sowohl in der Stadt aber auch in übergeordnete Ebenen organisiert und nach Kriterien der guten Regierungsführung gestaltet werden müssen.
Ziel des Auftrages war die Erarbeitung eines Analyserasters, das der konzeptionellen und methodischen Weiterentwicklung des Politikberatungsansatzes in Stadtentwicklungsvorhaben dienen sollte. Hierfür wurden die erforderlichen theoretischen und inhaltlichen Grundlagen zur Erarbeitung des Analyserasters geschaffen. Das Analyseraster sollte in weiteren Gutachtereinsätzen in Stadtentwicklungsvorhaben erprobt werden. Auf Grundlage der durch die Anwendung des Analyserasters gewonnenen Erkenntnisse wurde schließlich ein Monitoring-Instrument entwickelt. | 12/2006 | 10/2008 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Externe Evaluation von uni-assist e.V.Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Rahmen der Evaluation wurde der Nutzen und die Effizienz der Bearbeitung internationaler Studienbewerbungen durch die Geschäftsstelle von uni-assist bewertet. Damit sollte dokumentiert werden, ob uni-assist seine Gründungsziele erreicht hatte und ob eine Mitgliedschaft bei uni-assist aus wirtschaftlicher und organisatorischer Sicht für weitere Hochschulen empfehlenswert ist. Hierfür wurden u.a. leitfadengestützte Interviews sowohl mit Vertretern teilnehmender als auch nichtteilnehmende Hochschulen sowie standardisierte Online-Erhebungen mit den verschiedenen Zielgruppen durchgeführt. | 1/2008 | 7/2008 | Dr. Stefan Silvestrini | uni-assist e.V. |
Systemprüfung der Evaluation in der deutschen EntwicklungszusammenarbeitLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Aufgrund der Veränderungen der internationalen und nationalen Rahmenbedingungen und des weiter gewachsenen Drucks zu verbesserter Effektivität, Effizienz und Rechenschaftslegung entschloss sich das BMZ, die Qualität des deutschen EZ-Evaluationssystems erneut überprüfen zu lassen.
Mit der Planung und Durchführung der Untersuchung wurde das Hamburgische Weltwirtschafts-Institut (HWWI) betraut, das die Evaluierung in enger Kooperation mit dem Centrum für Evaluation (CEVAL) durchführte. Zudem waren die Leiter der Evaluierungsabteilungen der belgischen und schweizerischen Entwicklungszusammenarbeit an der Durchführung beteiligt.
Ziel der Evaluation war es, die Evaluationssysteme des BMZ und der staatlichen und nicht-staatlichen EZ-Institutionen im Hinblick auf ihre Organisation, Konzeption, Methoden und Verfahren sowie Umfang und Struktur zu bewerten und Ansatzpunkte zur Fortentwicklung des Gesamtsystems zu entwickeln.
Untersuchungsgegenstand der Systemprüfung waren insbesondere das BMZ, die staatlichen Durchführungsorganisationen (KfW, GTZ, InWEnt, DED, PTB, BGR), die DEG, die Politischen Stiftungen, die Kirchlichen Zentralstellen, die Deutsche Welthungerhilfe, das Institut für internationale Zusammenarbeit – Deutscher Volkshochschulverband, der Deutsche Caritasverband/Caritas International sowie die Sozial- und Entwicklungshilfe des Kolpingwerks.
Methodisch basierte die Evaluation auf einem standardisierten Self-Assessment der EZ-Organisationen, leitfadengestützten Intensivinterviews mit Vertretern der Organisationen, einer Dokumentenanalyse und einer standardisierten Befragung aller nicht in der Auswahl vorhandenen NROs der deutschen EZ. | 1/2007 | 5/2008 | Dr. Wolfgang Meyer | Hamburgisches WeltWirtschafts-Institut gGmbH (HWWI), Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
Begleitende Evaluation des Projekts: "Kopal II"Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das zu evaluierende Projekt zielt auf die Schaffung eines Bewusstseins in Politik und Medien zur Eindämmung des Problems der pränatalen Geschlechtsbestimmung und anschließenden Abtreibung weiblicher Föten sowie einer dauerhaften Verhaltensänderung in der Bevölkerung hinsichtlich der Thematik in vier nordindischen Bundesstaaten. Aufgabe der begleitenden Evaluation ist es, die wesentlichen Erfahrungen aus der bisherigen Umsetzungsphase zu analysieren und zu dokumentieren. Weiterhin sollen auf Grundlage der Untersuchungsergebnisse Empfehlungen für die weitere Projektgestaltung entwickelt und der konkrete Nutzen der Erkenntnisse für die Strategien und Programme der Trägerorganisation und ihrer Partner aufgezeigt werden. Methodisch stützt sich die Untersuchung auf eine Begutachtung vorliegender Projektdokumente sowie auf die Durchführung qualitativer Intensivinterviews zur vertiefenden Analyse der Einschätzungen und Erfahrungen aller Projektbeteiligten. | 12/2007 | 4/2008 | Dr. Stefan Silvestrini | Plan International Deutschland e.V. |
Evaluation des Projekts: „Community Development in Maharashtra“ (Indien)Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Stefan Silvestrini Beschreibung
Seit 2004 fördert die AWO International e.V. das Projekt „Community Development in Maharashtra“ (Indien), durch das mit Hilfe eines partizipativen und nachhaltigen Managements der zur Verfügung stehenden natürlichen Ressourcen die Lebensgrundlage der armen ländlichen Bevölkerung in der Region gesichert werden soll. Hierfür wurden, in Kooperation mit ausgewählten Grassroots- und Gemeindeinstitutionen den Zielgruppen landwirtschaftliche Produktionsverfahren sowie Kompetenzen zur Selbstbestimmung und -regulierung vermittelt.
Im Rahmen der Evaluation soll u.a. festgestellt werden, inwieweit die einzelnen Maßnahmewirkungen einen Beitrag zur Oberzielerreichung leisten und wie effizient die dabei eingesetzten Mittel genutzt werden. Darüber hinaus sollen die Zielgruppenangepasstheit sowie die zu erwartende Nachhaltigkeit der Projektwirkungen überprüft und mögliche Anknüpfungspunkte zu den politischen Strategien zur Unterstützung der Zielgruppen identifiziert werden. | 10/2007 | 2/2008 | Dr. Stefan Silvestrini | AWO International e.V. |
Evaluation der Einführung eines Learning-Management-Systems CLIX CAMPUS ® an der Universität des SaarlandesLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gemäß der Ziel- und Leistungsvereinbarung über die Einführung eines Learning-Management-Systems an der Universität des Saarlandes zwischen der Landesregierung des Saarlandes vertreten durch
das Ministerium für Bildung, Kultur und Wissenschaft und das Ministerium für Wirtschaft und der Universität des Saarlandes vom 22.12.2005 wird an der Universität des Saarlandes das Learning-Management-System CLIX Campus ® eingeführt.
Diese Einführung wird vom Centrum für Evaluation mit einer formativen und summativen Evaluation unter Einbeziehung externer Sachverständiger begleitet. | 2/2006 | 1/2008 | Dr. Vera Hennefeld | Competence Center "Virtuelle Saar Universität" (CC VISU) |
Forschungsstudie: „Wirkungsevaluierungen/Impact Evaluations – Zum aktuellen internationalen Stand der Diskussion und dessen Relevanz für deutsche EZ-EvaluierungenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Rahmen der Forschungsstudie wurde die aktuelle internationale Diskussion über „(Rigorous) Impact Evaluations“ und deren Durchführung im Rahmen der Entwicklungszusammenarbeit eingehend analysiert. Im Vordergrund standen dabei experimentelle bzw. quasi-experimentelle Designs und die verschiedenen Verfahren zur Bildung von Kontroll- oder Vergleichsgruppen. Methodisch wurden zentrale Dokument, Internetauftritte und Workshopdokumente relevanter Akteure analysiert. | 10/2007 | 1/2008 | Dr. Stefan Silvestrini | Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
Evaluierung der Landesbauordnung des SaarlandesLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Evaluation waren die ersten Erfahrungen der Betroffenen mit der Umsetzung der im Juni 2004 in Kraft getretenen Novellierung der saarländischen Bauordnung. Mittels unterschiedlicher qualitativer und quantitativer Erhebungsmethoden wurden insbesondere die Akzeptanz und Wirkungsweise der Verfahrensreform untersucht. Neben Intensivinterviews mit Experten aus dem Bauwesen kamen dabei standardisierte schriftliche Befragungen sowie statistische Analysen zum Einsatz.
Als Ergänzung zur im Januar 2007 abgeschlossenen Evaluierung der Landesbauordnung des Saarlandes wurden leitfadengestützte Interviews mit privaten Bauherren durchgeführt, um Erkenntnisse über die Akzeptanz der Neuregelungen bei dieser Gruppe von Normadressaten zu gewinnen. Darüber hinaus sollte geklärt werden, welche Probleme mit der Gesamtheit staatlicher Reglementierungen für die Bauherren verbunden sind. | 9/2006 | 12/2007 | Dr. Wolfgang Meyer | Ministerium für Umwelt und Verbraucherschutz des Saarlandes |
Evaluation der Konzeptentwicklung zur Bildungsoffensive ElbinselnLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Parallel zur Internationalen Bauaustellung (IBA) in Hamburg, die von
2006-2013 stattfindet, wurde die „Bildungsoffensive Elbinseln“ (BOE) ausgerufen, da die baulichen Maßnahmen auf den Elbinseln (d.h. Wilhemsburg, Veddel, Harburger Binnenhafen) mit einer Verbesserung des Bildungsangebots zu unterstützen.
Hauptziele des Projektes BOE sind somit die Förderung der gesellschaftlichen Integration der Bewohner der Elbinseln sowie eine Stärkung des Wohnstandortes Elbinseln durch attraktive Bildungseinrichtungen. Zentrale Maßnahmen des Projektes sollen insbesondere an bereits regional und lokal vorhandenen Handlungsansätzen aufbauen.
Ziel der formativ angelegten Evaluation des CEval ist es, prozessbegleitend die Lenkungsgruppe und sonstige beteiligte Akteure bei der Entwicklung des Gesamtkonzepts zur BOE zu unterstützen, indem zum einen die inhaltliche Tragfähigkeit des Konzeptes im Hinblick auf die avisierten Zielgruppen evaluiert wird und zum anderen Steuerungs- und Koordinierungsabläufe zwischen zentralen Netzwerkakteuren im Hinblick auf die Etablierung eines leistungsfähiges Netzwerkmanagement untersucht werden.
Hierzu führt das CEval Leitfadeninterviews mit den Vertretern der Steuerungsgremien sowie mit Vertretern von Einrichtungen bzw. Initiativen und nimmt kontinuierlich an den Sitzungen der Lenkungsgruppe teil.
Zudem wird eine Delphi-Befragung mit 5-10 Experten aus den Themenbereichen der BOE durchgeführt. | 4/2007 | 12/2007 | Dr. Wolfgang Meyer | IBA Hamburg GmbH |
InWEnt Training zu M&E im Kontext von BTVET in Uganda: Datenerhebungsmethoden mit Schwerpunkt Durchführung von standardisierten Befragungen.Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Rahmen des Trainings werden Module zu Monitoring, Evaluation, Datenerhebungsmethoden und Datenauswertung sowie Reporting angeboten. Außerdem findet ein Backstopping von InWEnt Alumni zum Thema M&E statt. | 7/2007 | 9/2007 | Dr. Stefan Silvestrini | Internationale Weiterbildung und Entwicklung gGmbH (InWEnt) |
Entwicklung eines M&E Konzepts für das TVET Reform Program in Cairo, ÄgyptenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Rahmen des Auftrages wird ein M&E Konzept für das TVET Reform Programm in Cairo, Ägypten entwickelt. Zudem findet ein Backstopping der verantwortlichen M&E Expertin vor Ort in M&E Fragen statt. | 2/2007 | 9/2007 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Evaluation der Siemens-DAAD-Master-StipendienLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand des Projektes war die vom Deutschen Akademischen Austausch Dienst (DAAD) in Auftrag gegebene Verbleibstudie zu den beiden Stipendienprogrammen "Siemens / DAAD Scholarship Initiative for Young Engineers from Central and Eastern Europe" und "DAAD - Siemens Scholarship Program ASIA 21st Century". Im Rahmen der Stipendien wurde seit 1999 insgesamt 215 jungen IngenieurInnen aus 19 Ländern ein Master-Studium an einer deutschen Hochschule ermöglicht. Mit den Stipendienprogrammen verfolgten die Siemens AG und der DAAD zwei zentrale Ziele: einen Beitrag zur wissenschaftlichen und ökonomischen Entwicklung beider Regionen zu leisten und den Ausbau der Internationalität der deutschen Hochschulen zu unterstützen.
Die vom CEval durchgeführte Evaluation konzentrierte sich auf die akademischen und beruflichen Karriereverläufe der Stipendiaten im Anschluss an das Master-Studium. Mit Hilfe einer Online-Befragung aller Stipendiaten wurden die Wirkungen der Programme analysiert, so dass – kurz vor Abschluss der Förderungen in 2007 – eine Bilanz über deren Nutzen gezogen werden konnte. | 1/2007 | 5/2007 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
InWEnt Training zu Qualitätsmanagement, Monitoring und Evaluation im TVET BereichLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Rahmen des Trainings werden Module zu Qualitätsmanagement, Monitoring, Evaluation, Datenerhebungsmethoden Datenauswertung sowie Reporting angeboten mit dem Schwerpunkt auf Berufsbildung. | 4/2007 | 5/2007 | Dr. Stefan Silvestrini | Internationale Weiterbildung und Entwicklung gGmbH (InWEnt) |
Entwicklung eines Monitoring Systems im Projekt: Vocational Qualification and Employment Promotion in the Western Regions of China.Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Rahmen des Auftrages wurde ein wirkungsorientierten Monitoringsystem mit den Projektverantwortlichen aufgebaut. U.a. wurde das Monitoringsystem konzipiert (inklusive Indikatorenformulierung, Planung der Datenerhebung), Mitarbeiter geschult, Datenerhebungsinstrumente entwickelt, Daten erhoben und ausgewertet für Management entscheidungen. Zudem wurde ein Handbuch für die Projektmitarbeiter verfasst, das sich detailliert mit den einzelnen Schritten im wirkungsorientierten Monitoring befasst. | 11/2005 | 3/2007 | Dr. Stefan Silvestrini | Gesellschaft für Organisation, Planung und Ausbildung mbH (GOPA), Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Evaluation der internationalen Sur-Place-Stipendienprogramme der Konrad-Adenauer-Stiftung e.V. in ausgewählten LändernLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Vera Hennefeld, Dr. Stefan Silvestrini Beschreibung Die Konrad-Adenauer-Stiftung (KAS) fördert mit Hilfe ihrer Stipendienprogramme die Aus- und Fortbildung von Fach- und Führungskräften aus Entwicklungsländern sowie aus den Transformationsstaaten Mittel- und Südosteuropas. Ziel der Maßnahme ist es, die Leistungsfähigkeit der lokalen Partnerorganisationen zu stärken und Persönlichkeiten zu fördern, die für die Projektarbeit wichtig sind bzw. von denen erwartet werden kann, dass sie als Multiplikatoren oder Stützpunkte wirken.
Aufgabe der Evaluation war eine Bewertung der internationalen Stipendienprogramme der Stiftung für den Förderzeitraum von 1998 bis 2006 und die Entwicklung handlungsorientierter Empfehlungen für den Einsatz des Programms in den kommenden Jahren. Hierfür wurden vier Länderfallstudien in Afrika (Südafrika), Asien (Vietnam und Kambodscha), Europa (Russland und Bosnien-Herzegowina) und Lateinamerika (Argentinien und Chile) durchgeführt. Die Evaluationsergebnisse wurden nicht nur in Form einzelner Fallstudien sondern auch vergleichend in einem zusammenfassenden Synoptischen Summary dokumentiert. Methodisch basiert die Evaluierung auf leitfadengestützten Intensivinterviews mit den Stipendiaten und Auslandsmitarbeitern in den Zielländern sowie mit den zuständigen Stiftungsmitarbeitern in Deutschland. Des Weiteren wurde eine Auswertung vorhandener Daten und Dokumente zum Projektverlauf vorgenommen. | 11/2006 | 3/2007 | Dr. Vera Hennefeld | Konrad-Adenauer-Stiftung e.V. (KAS) |
Die Bedeutung von Europakompetenz für den Wirtschaftsstandort Saarland – Der Beitrag der Qualifikationsangebote der UdS für Betriebsansiedlungen und ExistenzgründungenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Centrum für Evaluation (CEval) untersucht innerhalb des von der Kooperationsstelle Wissenschaft und Arbeitswelt in Zusammenarbeit mit der Arbeitskammer des Saarlandes geförderten Forschungsvorhabens „Arbeitswelt Europa – Auswirkungen der Europäisierung auf das Saarland, auf die Arbeitswelt des Saarlandes und die Großregion im Umfeld des Saarlandes“ die Bedeutung der europabezogenen Expertise an den saarländischen Hochschulen - insbesondere der UdS - und der diesbezügliche Qualifikationen ihrer AbsolventInnen für Unternehmensansiedlungen und Existenzgründungen im Saarland und damit für die wirtschaftliche Entwicklung und die Beschäftigungslage im Saarland.
Ziel des Forschungsprojekts ist zu klären, welche Nachfrage von Seiten der saarländischen Wirtschaft nach europabezogenen Qualifikationen von AbsolventInnen der saarländischen Hochschulen besteht. Diese Fragestellung soll in Hinblick auf die Bedeutung der Nachfrage nach Qualifikationen für Unternehmensansiedlungen und Existenzgründungen im Saarland betrachtet werden. Darüber hinaus soll untersucht werden, ob die europabezogene Expertise an der UdS und die entsprechenden Qualifikationen ihrer AbsolventInnen, Chancen für ExistenzgründInnen im Saarland bieten.
Das Design der Studie umfasst in der explorativen Phase qualitative Erhebungen bei den Mitarbeitern relevanter Informations- und Beratungsorganisationen für Existenzgründungen und Unternehmensansiedlungen. Aus den hierbei gewonnenen Informationen und aus der Analyse verfügbarer Dokumente und Statistiken wird das Untersuchungsfeld für standardisierte Befragungen von Unternehmen und ExistenzgründerInnen abgesteckt und es werden die untersuchungsleitenden Hypothesen für die standardisierten Befragungen abgeleitet, die die Basis für die quantitative Überprüfung der entwickelten Hypothesen liefern. | 10/2006 | 3/2007 | Dr. Wolfgang Meyer | Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA), Arbeitskammer des Saarlandes (AK) |
Durchführung Fremdevaluationen - RahmenvertragLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Die GTZ hat 2005 ihr bestehendes Evaluierungssystem mit der Einführung von Schluss- und Ex-post Evaluierungen vervollständigt. In diesem Zusammenhang wurden 2005 / 2006 Rahmenverträge mit verschiedenen Institutionen geschlossen, in dessen Rahmen die Evaluationen von ca. 34 Einzelvorhaben in verschiedenen Regionen und Themenbereichen durchgeführt wurden.
Die GTZ hat mit dem CEval einen Rahmenvertrag geschlossen, auf dessen Basis in 2005 im Rahmen einer ersten Pilotphase zwei Projekt ex-post evaluiert wurden:
- Ex-Post Evaluation des GTZ-Programms Umweltmanagement für Stadtentwicklung in Thailand
- Ex-Post Evaluation des Programms Slumsanierung in Nagpur, Indien
In 2006 wurden im Kontext des Rahmenvertrages vom CEval die Evaluationen von 10 Einzelvorhaben in 9 Ländern koordiniert. Drei der Evaluationen wurden von CEval-MitarbeiterInnen durchgeführt. Die übrigen Evaluationen wurden unter der Leitung und Koordination von Frau Dr. Alexandra Caspari von ca. 20 GutachterInnen aus dem In- und Ausland umgesetzt.
- Ex-Post Evaluation des GTZ- Forstvorhaben Schwarzer Fluss in Vietnam
- Ex-Post Evaluation des GTZ-Vorhabens KV-Kommunale Waldbewirtschaftung Quirino auf den Philippinen
- Evaluation des laufenden GTZ-Vorhabens in Asien NA: Regionales Forstvorhaben – South Pacific Community
- Ex-Post Evaluation des GTZ-Vorhabens Modernisierung des Steuersystems in der Dominikanischen Republik
- Schlussevaluation des GTZ-Vorhabens Dezentralisierung und Regionalplanung in der Dominikanischen Republik
- Ex-Post Evaluation des GTZ-Vorhabens Modernisierung der Steuerverwaltung in Rumänien
- Schlussevaluation des GTZ-Vorhabens Tropenwaldrelevantes Ressourcenschutzprogramm in Ruanda
- Schlussevaluation des GTZ-Vorhabens Erhaltung des Schutzgebietes Osa in Costa Rica
- Schlussevaluation des GTZ-Vorhabens Regionalentwicklung Lovetsch in Bulgarien
- Evaluation des laufenden GTZ-Vorhabens
NAMARES Nachhaltiges Management natürlicher Ressourcen in Ecuador
| 9/2005 | 3/2007 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
InWEnt Training zu Qualitätsmanagement, Monitoring und Evaluation im TVET BereichLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Rahmen des Trainings werden Module zu Qualitätsmanagement, Monitoring, Evaluation, Datenerhebungsmethoden Datenauswertung sowie Reporting angeboten mit dem Schwerpunkt auf Berufsbildung. | 11/2006 | 12/2006 | Dr. Stefan Silvestrini | Internationale Weiterbildung und Entwicklung gGmbH (InWEnt) |
Managing Diversity – Studie zu Aspekten eines ganzheitlichen Konzeptes für die familiengerechte HochschuleLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Centrum für Evaluation (CEval) wurde vom AUDIT Familiengerechte Hochschule der Universität des Saarlandes (UdS) beauftragt, innerhalb des von der Kooperationsstelle Wissenschaft und Arbeitswelt der UdS sowie der Arbeitskammer des Saarlandes geförderten Forschungsvorhabens „Managing Diversity – Studie zu Aspekten eines ganzheitlichen Konzeptes für die familiengerechte Hochschule“ die sozialwissenschaftlichen Erhebungen zu unterstützen.
Zielsetzung des Projekts ist die Analyse und Weiterentwicklung einer familienbewussten Personalpolitik der UdS. Dafür sollten in mehreren Teilstudien die aktuelle Situation an der Universität erhoben und anschließend die Ergebnisse in passfähigen Maßnahmen praktisch umgesetzt werden. Diese Teilstudien umfassen Erhebungen zum Kinderbetreuungsbedarf von Beschäftigten und Studierenden, zur Vereinbarkeitsproblematik von Männern/Vätern, zum Begriff familienfreundliche Hochschule bei allen Mitgliedern der Universität und eine Befragung der Führungskräfte zum Thema Familienfreundlichkeit, wobei sowohl quantitative als auch qualitative Methoden der empirischen Sozialforschung eingesetzt wurden. Das CEval unterstützte das AUDIT Familiengerechte Hochschule hierbei, indem es bei der Entwicklung der Erhebungsinstrumente und Durchführung insbesondere der standardisierten Befragungen mitwirkte.
Eine vollständige Publikation der Ergebnisse in thematisch aufbereiteter und interpretativer Form ist in Vorbereitung für das Jahr 2007. | 1/2006 | 9/2006 | Dr. Vera Hennefeld | audit familiengerechte hochschule |
Evaluierung ASEAN Industrielle Biotechnologie und Umweltmanagement (EIBUM)Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Stefan Silvestrini Beschreibung Im Auftrag der Internationalen Weiterbildungs- und Entwicklungs gGmbH (InWEnt) werden fünf Langzeit-Programme in den Bereichen der industriellen Biotechnologie, des industriellen Umweltschutzes sowie des Instandhaltungs- und Anlagenmanagements in sechs ASEAN-Staaten evaluiert.
Ziel der Evaluation ist es, Erkenntnisse über die Stärken und Schwächen (Inhalt, Aufbau, Organisation, Abwicklung etc.) der Trainingsprogramme unter Berücksichtigung der politisch-institutionellen Rahmenbedingungen zu gewinnen. Dementsprechend wird eine angemessene programmübergreifende Bewertung der Qualität und des Nutzens der Programme (Planung, Vorbereitung, Durchführung, Ergebnisse) und seiner Projekte / Maßnahmen vorgenommen. Die Zusammenfassung der verschiedenen Programmevaluationen erfolgt primär aufgrund der Gesamtzielstellung. Die Komplexität und thematische Vielfalt bieten neben den strukturellen und regionalen Gemeinsamkeiten die Basis zur Erlangung von verallgemeinerbaren Ergebnissen für den Aufbau, die Organisation und praktische Durchführung von komplexen Programmen / Projekten der Entwicklungszusammenarbeit (EZ). Die komparative Evaluation hinsichtlich Themenbezug, Programmstruktur oder Budget ähnlich gelagerter Programme weiterer EZ-Organisationen ist ebenfalls Zielstellung der Evaluation. | 9/2005 | 8/2006 | Dr. Stefan Silvestrini | Internationale Weiterbildung und Entwicklung gGmbH (InWEnt) |
Evaluation der Wolfgang Paul- und Sofja Kovalevskaja-PreisträgerprogrammeLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Vera Hennefeld Beschreibung 2001 förderte die Alexander von Humboldt-Stiftung mit Mitteln des Bundesministeriums für Bildung und Forschung (BMBF) erstmalig das Wolfgang Paul- sowie das Sofja Kovalevskaja-Preisträgerprogramm. Ziel beider Preise ist es, dem Forschungsstandort Deutschland einen international sichtbaren Impuls zu geben, indem hervorragend qualifizierte jüngere Wissenschaftler aus aller Welt durch ein attraktives Angebot gewonnen werden, innovative und zukunftsweisende Forschungsvorhaben durchzuführen. Die beiden Preise wurden im Jahr 2001 an 43 Wissenschaftler/-innen vergeben, die an deutschen Gastinstituten Forschungsarbeiten durchführten. Im Mittelpunkt der Studie standen die Bewertungen der Forschungsaufenthalte durch die Preisträger sowie durch die Gastinstitute. Als Erhebungsmethoden zum Einsatz kamen hierbei neben Leitfadeninterviews mit ausgewählten Preisträgern und deren jeweiligen „Gastgebern“ eine Onlinebefragung aller Preisträger und Gastinstitutionen. | 2/2006 | 7/2006 | Dr. Vera Hennefeld | Alexander von Humboldt-Stiftung (AvH) |
Beratung von IBQM (Initiativstelle Berufliche Qualifizierung von Migrantinnen und Migranten) bei der Evaluation der Beruflichen QualifizierungsnetzwerkeLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Die „Initiativstelle Berufliche Qualifizierung von Migrantinnen und Migranten“ (IBQM) im Bundesinstitut für Berufsbildung (BIBB) ist ein Projekt, das mit Mitteln des BMBF im Rahmen des BQF-Programms (Berufliche Qualifizierung für Zielgruppen mit besonderem Förderbedarf) gefördert wird. IBQM berät und begleitet in Kooperation mit dem Projektträger Antragsteller, die im Rahmen des BQF-Programms innovative Modellprojekte initiieren. Diese Projekte sollen dazu beitragen, Angebote der Benachteiligtenförderung für die sehr heterogene Zielgruppe der Jugendlichen mit Migrationshintergrund weiterzuentwickeln. Ein Schwerpunkt ist dabei das Bemühen um die Berücksichtigung der interkulturellen Dimension der Kompetenzfeststellung und –entwicklung bei der Zielgruppe im Handlungsfeld der betrieblichen und schulischen Berufsbildung. Die Hauptaufgabe der IBQM zur Verbesserung der Rahmenbedingungen für die berufliche Qualifizierung von Migrantinnen und Migranten besteht in der Initiierung, Beratung und wissenschaftlichen Begleitung von lokalen und regionalen Kooperationsnetzwerken für die berufliche Qualifizierung von Migrantinnen und Migranten (BQN). Das CEval berät IBQM bei der Entwicklung und Umsetzung der prozessbegleitenden Evaluation der BQN. Darunter fallen im wesentlichen folgende Aufgaben: Unterstützung bei der Fertigstellung des BQN-Evaluationskonzeptes von IBQM, Input bei den Treffen des BQN-Evaluationsarbeitskreises, Unterstützung bei der Erarbeitung der Kriterienkataloge, Präsentationsformate und Indikatoren für die Umsetzung der mit den lokalen Evaluationsbeauftragten der BQN vereinbarten Etappen der prozessbegleitenden Evaluation, fachliche Beratung bei der Umsetzung der einzelnen Etappen (lokale Anwendung der Kriterien, Aussagekraft der Dokumentation und Plausibilität der Umsetzung). | 4/2004 | 6/2006 | Dr. Vera Hennefeld | Bundesinstitut für Berufsbildung (BIBB) |
| Weiterbildungsmaßnahmen zu Training Needs Assessment im Enineering Capacity Building Project in Äthiopien | 3/2006 | 5/2006 | Dr. Stefan Silvestrini | Internationale Weiterbildung und Entwicklung gGmbH (InWEnt), Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Evaluation des GTZ-Projekts: Umweltmanagement für Stadtentwicklung, ThailandLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Zwischen Oktober 2005 und Januar 2006 (Feldphase 14. bis 29.11.2005) wird eine Ex-post Evaluierung der dritten Phase des GTZ-Vorhabens „Umweltmanagement für Stadtentwicklung in Thailand“ (1997-2000) durchgeführt. Inhaltlich geht es um die Untersuchung und Bewertung der Nachhaltigkeit von Projektwirkungen fünf Jahre nach Abschluss des Vorhabens. Ein besonderes Augenmerk wird auf den Projektbeitrag zur Erreichung der Millenium Development Goals gelegt. Daneben werden der Mehrebenenansatz, die Mehrdimensionalität und die Synergieeffekte bewertet. Methodisch handelt es sich um eine von vier Pilotstudien, mit denen das neue Ex-post Evaluierungsverfahren der GTZ getestet und kritisch hinterfragt werden soll.
In der Feldphase werden drei der fünf Projektstädte besucht (Kanchanaburi, Lamphun und Sri Racha). Sowohl auf nationaler Ebene als auch in den drei Städten sind jeweils etwa ein Dutzend Expertengespräche vorgesehen. In den Städten wird zudem versucht, die zu Beginn des GTZ-Projektes vorgenommenen Stadtbegehungen zu replizieren. Darüber hinaus ist ein Besuch aller noch existierender Demonstrationsvorhaben vorgesehen. Schließlich werden neben den bei der GTZ vorhandenen Projektmaterialien allgemeine und spezifische Informationsmaterialien zu landesweiten Veränderungen in den Bereichen Umwelt und Stadtplanung sowie zur lokalen Situation in den drei untersuchten Städten analysiert. | 9/2005 | 1/2006 | Dr. Wolfgang Meyer | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
| Gutachten ‚Neuere Verfahren und Konzepte im Rahmen der Wirkungsanalyse’ | 1/2006 | 1/2006 | Dr. Stefan Silvestrini | Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
Ex-Post Evaluation des GTZ-Projekts: Slumsanierung Nagpur, IndienLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der Evaluation war ein GTZ-Projekt zur Slumsanierung in Nagpur, Indien, das einen wichtigen Beitrag zur Verbesserung der Lebensbedingungen in den Slums und informellen Siedlungen Nagpurs leisten sollte. Der deutsche Beitrag war darauf ausgerichtet, die Stadt Nagpur darin zu unterstützten, eine eigenständige und nachhaltige Sanierungspolitik unter Beteiligung von Bewohnerorganisationen in den unterversorgten Siedlungen zu betreiben. Eines der wesentlichen Elemente der Zusammenarbeit sollte dabei die Bündelung lokaler Initiativen und bestehender nationaler oder regionaler Förderungsprogramme bewirken.
Hintergrund der Evaluation war die Einführung von Schluss- und Ex-Post Evaluationen bei der GTZ. Im Rahmen eines Pilotversuches werden zunächst 8 Evaluationen von Projekten zum Jahresthema der GTZ „Die Stadt von morgen“ durchgeführt.
Das hier evaluierte Projekt gehörte zu dieser Stichprobe. Die Evaluation sollte in erster Linie der Rechenschaftslegung dienen, darüber hinaus sollten die Erkenntnisse in das Wissensmanagement der GTZ einfließen und für die Weiterentwicklung von Konzepten und die Gestaltung künftiger Vorhaben genutzt werden.
Zentrale Fragestellung und Ziel der Evaluation war entsprechend fundierte Aussagen zum Erfolg des Projektes zu liefern, der auf der Grundlage vorgegebener Evaluationskriterien beschrieben und bewertet wurde. Diese waren die mit dem Vorhaben erreichten Wirkungen, die Effizienz der Mittelverwendung, die entwicklungspolitische Relevanz und Signifikanz, die Kohärenz sowie die Nachhaltigkeit der Wirkungen (in Anlehnung an OECD/DAC).
Ferner sollten die Evaluierungen bzgl. des ausgewählten entwicklungspolitischen Themas „Die Stadt von morgen“ Auskunft über weitere zusätzliche Fragen geben, die für die weitere Konzept- und Sektorentwicklung von Relevanz sind und auch eine vergleichende und übergreifende Aussage zu allen Evaluierungen ermöglichen sollen:
- Welchen Beitrag leistete das Vorhaben zur Erzielung von Wirkungen auf der Ebene der MDGs, insbesondere MDG 7, Teilziel 11?
- Welche Auswirkungen hatte der Mehrebenenansatz (Stadtteilebene, Gesamtstadtebene, übergeordnete Ebenen) und die Mehrdimensionalität des Vorhabens (technisch, sozial, räumlich, ökonomisch, ökologisch) auf die Nachhaltigkeit der Wirkungen des Vorhabens?
- Inwieweit gab es Synergieeffekte durch die Kombination von TZ und Finanzierung durch Dritte, welche Bedingungen waren hierfür ausschlaggebend?
Ein dritter Bearbeitungspunkt betraf das Konzept der Ex-post Evaluation, die Methodik und das Raster für die Erfolgsbewertung, was auf der Grundlage der Erfahrungen konstruktiv-kritisch bewertet werden sollte. | 1/2005 | 1/2006 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Evaluation des KIBB: Kommunikations- und Informationssystem Berufliche BildungLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Auftrag des BMBF (Bundesministerium für Bildung und Forschung) arbeitet das Bundesinstitut für Berufsbildung (BIBB) am Aufbau eines Kommunikations- und Informationssystems für Berufliche Bildung (KIBB). Mit dem Projekt KIBB werden im Wesentlichen drei Ziele verfolgt, die im Rahmen bestehender Informations- und Kommunikationsstrukturen bisher nur unzureichend erfüllt werden konnten:
1. Die Hervorhebung der Bedeutung der Berufsbildungsforschung als wichtiger gesellschaftlicher Entwicklungsbereich;
2. der Aufbau eines professionellen Wissensmanagements in der Berufsbildung;
3. die stärkere Vernetzung von Berufsbildungsexperten und –expertinnen.
KIBB nutzt bei der Verfolgung dieser Ziele in vielfältiger Weise die erweiterten Möglichkeiten, die im Zusammenhang mit Information und Kommunikation durch die Neuen Medien entstanden sind: Neben der Einrichtung einer online-gestützen Kommunikationsplattform ist u. a. der Aufbau einer internetbasierten Wissenslandkarte vorgesehen, die Informationen zur Berufsbildungsforschung zur selbständigen Recherche und Beantwortung von Fragen bereitstellt.
Die vom BIBB in Auftrag gegebene Evaluation des KIBB ist prozessbegleitend vorgesehen, so dass also bei dieser Evaluation insbesondere formative und projektbezogene Aspekte im Vordergrund stehen.
Die methodische Konzeption der Evaluation basiert auf einem Analyse-Leitfaden, der in seiner Struktur auf der theoretischen Evaluationskonzeption des CEval beruht und zu Beginn des Evaluationsvorhabens in enger Zusammenarbeit mit den Projektbeteiligten an die spezifischen Erfordernisse des Evaluationsvorhabens angepasst wurde. Während die Zielsetzungen und zu messenden Indikatoren von KIBB einen selbstverständlichen Bestandteil des Leitfadens bilden, enthält dieser darüber hinaus eine Reihe organisations- und diffusionstheoretisch begründeter Faktoren, die nach dem derzeitigen Stand der Forschung grundsätzliche Voraussetzungen für den Erfolg von Programmen und Projekten darstellen.
Die Messung der Indikatoren im Analyse-Leitfaden erfolgt im Sinne eines Panels zu drei Erhebungszeitpunkten die sich über die gesamte Projektlaufzeit erstrecken. Die fortlaufende Anpassung und Weiterentwicklung des Erhebungs- und Untersuchungsdesigns wird dabei als integrierter Bestandteil des Vorgehens betrachtet. Gemäß des formativen Charakters der Evaluation werden die Ergebnisse der jeweiligen Erhebungen handlungsorientiert aufbereitet und dienen als Diskussionsgrundlage für jeweils einen Workshop unter Beteiligung der KIBB-Mitarbeiter. Die Dokumentation sowohl der Erhebungs- als auch der Diskussionsergebnisse der Workshops sind Bestandteile der Zwischenberichte.
Neben leitfadengestützten Interviews mit Projektmitarbeitern, weiteren Projektbeteiligten sowie Kunden des KIBB (z. B. Mitarbeiter des BMBF) sollen mit dem weiteren Verlauf des Projekts in der Evaluation standardisierte Nutzerbefragungen bei den Nutzern der internetbasierten Produkte von KIBB sowie Gruppendiskussionen zum Einsatz kommen. Daneben erfolgt eine kontinuierliche Dokumentenanalyse. | 8/2003 | 12/2005 | Dr. Vera Hennefeld | Bundesinstitut für Berufsbildung (BIBB) |
"Evaluation von Projekten der Umweltkommunikation im Handwerk unter besonderer Berücksichtigung der Umweltzentren des Handwerks"Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Wolfgang Meyer, Dr. Vera Hennefeld Beschreibung Die Deutsche Bundesstiftung Umwelt (DBU) fördert seit 1991 Projekte der Umweltkommunikation im Handwerk und hat das CEval mit einer umfassenden Evaluierung ihrer Förderaktivitäten beauftragt. Im Rahmen des Evaluationsvorhabens sind Aktivitäten und Strukturen der Umweltkommunikation im Handwerk zu dokumentieren, die nachhaltigen Wirkungen der DBU-Förderung zu erfassen sowie Empfehlungen für die Optimierung der weiteren Fördertätigkeit zu entwickeln. Das im Juni 2002 begonnene Vorhaben hat eine voraussichtliche Laufzeit bis Dezember 2005. | 6/2002 | 12/2005 | Dr. Wolfgang Meyer | Deutsche Bundesstiftung Umwelt (DBU) |
| Überblicksartige Vorstudie zur Stellung der Entwicklungszusammenarbeit an deutschen Hochschulen | 9/2005 | 10/2005 | Dr. Stefan Silvestrini | Hochschulrektorenkonferenz (HRK) |
| Kommentierung der Standards-Diskussion von UNEG und DAC | 5/2005 | 10/2005 | Dr. Stefan Silvestrini | Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
Evaluation des Reintegrationsprogramms des Evangelischen Entwicklungsdienstes (EED)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Der EED bietet in Deutschland lebenden Fachkräften aus Afrika, Asien und Lateinamerika, die auf Dauer in ihr Herkunftsland zurückkehren möchten ein Reintegrationsprogramm an. Dafür bietet es Bewerbern, die in Kürze ihre Ausbildung oder ihr Studium in Deutschland abschließen und noch keine oder nur geringe Berufserfahrung von weniger als zwei Jahren erworben haben, Beihilfen, wenn sie eine entwicklungspolitische Tätigkeit in ihrem Heimatland aufnehmen. Zu den Leistungen des Programms gehören neben der eigentlichen Reintegrationsbeihilfe, eine Ausreisebeihilfe, die Erstattung der Reise- und Gepäcktransportkosten, die soziale Sicherung im Heimatland sowie ein Kaufkraftausgleich. Voraussetzung für eine Förderung ist, dass die Bewerber sich in Deutschland bereits mit entwicklungspolitischen Fragen auseinandergesetzt haben und dass bei einer überseeischen (Partner-) Organisation ein geeigneter Arbeitsplatz zur Verfügung steht.
Ziel der Evaluation ist eine Wirkungsanalyse, in der die Erfolge bei der Reintegration von Fachkräften und die entwicklungspolitischen Implikationen des Programms untersucht werden. Dabei wird einerseits der Frage nachgegangen, was das Reintegrationsprogramm in Bezug auf die soziale und berufliche Reintegration von Fachkräften in ihrem Herkunftsland leistet. Andererseits steht der Beitrag des Reintegrationsprogramms für die entwicklungspolitische Arbeit der Partnerorganisationen des EED im Vordergrund. Mit Hilfe quantitativer und qualitativer empirischer Methoden werden dazu Daten von Reintegranten sowie deren (ehemaligen) Arbeitgebern erhoben. Als Instrumente kommen neben standardisierten schriftlichen Befragungen leitfadengestützte Intensivinterviews, Fallstudien und sekundäranalytische Verfahren zum Einsatz. Die Studie ist weltweit ausgelegt, wobei der Fokus auf Afrika gerichtet wird. | 6/2005 | 10/2005 | Dr. Stefan Silvestrini | Evangelischer Entwicklungsdienst (EED) |
Entwicklung eines Monitoringsystems für das vietnamesisch-deutsche Berufsbildungsprogramm in VietnamLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Beratung des Berufsbildungsprogramms „Verbesserung von Leistungsfähigkeit und Nachfrageorientierung der Aus- und Fortbildungsstätten des vietnamesischen Berufsbildungssystems“ in Hanoi/Vietnam bei der Entwicklung eines Monitoringsystems und der Planung und Durchführung einer Tracer-Study und Betriebsbefragung. | 2/2005 | 8/2005 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Evaluation ‚Einzelmaßnahmen zur entwicklungspolitischen Informations- und Bildungsarbeit'Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Gegenstand der durchgeführten Evaluation waren drei Einzelmaßnahmen, die aus Mitteln des BMZ gefördert wurden. Zentrale Fragestellung der Evaluation war, inwieweit die drei Einzelmaßnahmen einen sinnvollen Beitrag zur entwicklungspolitischen Bildungsarbeit leisten und ob bzw. inwieweit sie sich in ihren Tätigkeiten oder in den anvisierten Zielgruppen überschneiden. Ziel der Evaluation war es, dem BMZ eine angemessene Grundlage zu bieten, um die Angebote und Dienstleistungen sowie die Zielgruppen der drei Einrichtungen adäquat einschätzen zu können.
Gemäß der Fragestellung und im Sinne der Methoden-Triangulation wurden verschiedene Formen der Datenerhebung genutzt: Eine Sektoranalyse sollte einen Überblick über die ‚Rahmenbedingungen’ der entwicklungspolitischen Bildungsarbeit in Deutschland sowie einen Überblick über weitere relevante Akteure im Bereich der entwicklungspolitischen Bildungsarbeit und deren Informations- und Dienstleistungsangebote geben, um die Angebote und Zielgruppen der drei untersuchten Einrichtungen einschätzen zu können. Im Rahmen von Vor-Ort Besuchen der drei Einrichtungen wurden mit verschiedenen Mitarbeitern Intensivinterviews geführt sowie sämtliche zur Verfügung gestellten Materialien gesichtet. Auf dieser Grundlage wurden im möglichen Rahmen Kosten-Nutzen-Berechnungen erstellt. Darüber hinaus wurden leitfadengestützte Telefoninterviews mit weiteren relevanten Personen geführt. Um insbesondere die Nutzung sowie die Qualität und den Nutzen der Angebote und Dienstleistungen der drei Einrichtungen untersuchen zu können, wurde eine Online- Befragung verschiedener Personengruppen durchgeführt. | 4/2005 | 8/2005 | Dr. Stefan Silvestrini | Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
Evaluation des Stipendienprogramms des Evangelischen Entwicklungsdienstes (EED)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Stipendienprogramm des EED hat die Aufgabe, kirchliche Partner und entwicklungsorientierte Nichtregierungsorganisationen in Entwicklungsländern bei der Fortbildung und Qualifizierung ihres Personals zu unterstützen. Hierfür werden Stipendien für ein entwicklungsbezogenes Postgraduiertenstudium in Deutschland, europäischen Ausland oder Entwicklungsländern an berufserfahrene Hochschul-/ Fachhochschulabsolventen aus Entwicklungsländern vergeben. Ferner werden die Stipendiaten bei der studienbedingten Integration und Orientierung mittels studienergänzender Seminarangebote begleitet. Neben der akademischen Qualifikation beziehen sich die Förderkriterien u.a. auf die Bedeutung des Studienvorhabens für die nachhaltige Entwicklung sowie den Auf- bzw. Ausbau von Bildungsstätten im Heimatland, Fragestellungen des konziliaren Prozesses für Frieden Gerechtigkeit und Bewahrung der Schöpfung etc. Seit Oktober 2003 ist das ehemalige Stipendienprogramm des Ökumenischen Studienwerks (ÖSW) Teil des EED in Bonn. Im Rahmen dieser Integration soll die Förderung berufserfahrener Nachwuchskräfte aus Entwicklungsländern enger mit den internationalen Programmen, der Personalvermittlung und dem Inlandsprogramm des EED verbunden werden. Ziel der Evaluation ist die Untersuchung der Entwicklungsrelevanz des Stipendienprogramms des EED. Der Schwerpunkt der Evaluation liegt dabei auf den (beruflichen) Tätigkeiten der Stipendiaten nach Beendigung ihrer Ausbildung, ihrer Funktion als Multiplikatoren, und auf Ihrem „Wirken“, (insbesondere auch in Bezug auf Organisationsentwicklung und Zuwachs an Know-how in den Institutionen aus denen die Stipendiat(inn)en vermittelt werden). Der geographische Fokus der qualitativen Fallstudien liegt auf Lateinamerika (Brasilien) und Ostafrika (Tansania/ Kenia), während die quantitative Befragung der ehemaligen Stipendiaten weltweit erfolgt. | 2/2005 | 6/2005 | Dr. Stefan Silvestrini | Evangelischer Entwicklungsdienst (EED) |
Studie zum Marketingpotenzial Indiens für das Hochschulmarketing deutscher HochschulenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung In Zukunft soll das Hochschulmarketing des DAAD einen Schwerpunkt bei indischen Studierenden der Ingenieur-, Natur- und Wirtschaftswissenschaften setzen, da bei diesen Gruppen Nachwuchsmangel bereits besteht oder zu erwarten ist und von ihnen ein positiver Beitrag zur Forschung an deutschen Hochschulen erhofft wird.Die Fokussierung auf Indien für diese Studie hat zwei wesentliche Hauptgründe: Zum einen ist Indien bereits seit längerem eines der Haupt-Zielländer der Marketing-Kampagnen von GATE-Germany. Die Zahl angeworbener Studierender könnte (und soll) aber noch ausgebaut werden. Dies gilt insbesondere im Vergleich zur Mobilität indischer Studierender in Richtung USA und Großbritannien. Zum anderen soll das Profil der potenziellen Bewerber stärker dem oben bereits angedeuteten Bedarf der deutschen Hochschulen an hoch qualifizierten Kräften aus den Ingenieur-, Natur- und Wirtschaftswissenschaften entsprechen.
Das Oberziel der Studie ist, Empfehlungen für die Neuausrichtung der Marketing-Strategie für die kommenden Jahre auf der Basis der bisherigen Erfahrungen und der aktuellen Entwicklungen auf dem Bildungsmarkt zu erstellen.
Unter Anderem sollen zu den folgenden Fragestellungen weitere Auskünfte geben werden: • Inwieweit haben die bisherigen Marketingmaßnahmen die gewünschten Zielgruppen erreicht? • Soll an indischen Hochschulen geworben werden? • Wenn an indischen Hochschulen geworben werden soll, dann mit welchen Mitteln? • In welchen Zielgruppen existiert das Bewusstsein für die Möglichkeit eines Aufenthalts in Deutschland? • Wie kann dieses Bewusstsein verstärkt werden? • Welche neuen Zielgruppen sollten erschlossen werden? • Über welche Informationswege, -mittel und Kommunikationsstrategien können die Zielgruppen wirksam erreicht werden? • Über welche zentralen Botschaften und Kernaussagen kann das Interesse indischer Studierender effektiv geweckt und deren Entscheidung in wirksamer Weise beeinflusst werden? | 11/2004 | 6/2005 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
| Situationsanalyse „eLearning an der Universität des Saarlandes“ | 10/2004 | 4/2005 | Dr. Vera Hennefeld | Competence Center "Virtuelle Saar Universität" (CC VISU) |
Vergleich der Gesundheitssysteme im Saarland und im Departement MoselleLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Stefan Silvestrini Beschreibung Das Centrum für Evaluation (CEval) wurde von der Landesarbeitsgemeinschaft für Gesundheitsförderung Saarland e.V. (LAGS) beauftragt, die bereits zuvor erhobenen Fragebögen auszuwerten und die Ergebnisse für eine kartografische Darstellung in geeigneter Form aufzubereiten. Ziel der Erhebung war es, einen Ist-Zustand der vorhandenen Leistungsangebote zu ermitteln sowie mögliche Kooperationen zwischen den französischen und saarländischen Einrichtungen und die Mobilität der Patientinnen und Patienten darzustellen.
Vor dem Hintergrund der Schaffung grenzüberschreitender Zugangsmöglichkeiten zur Gesundheitsversorgung dienen die gewonnenen Informationen als Grundlage für eine Vergleichsstudie zur effizienteren Nutzung der dazu vorhandenen infrastrukturellen Ressourcen. Gleichsam soll auf diese Weise ein Beitrag zur Förderung der regionalen grenzüberschreitenden Gesundheitspolitik geleistet werden. | 11/2004 | 3/2005 | Dr. Stefan Silvestrini | Landesarbeitsgemeinschaft für Gesundheitsförderung Saarland (LAGS) |
"Entwicklung und Implementation eines Monitoring- und Evaluationssystems für das Projekt Umweltorientierte Berufsbildung der deutsch-mexikanischen Entwicklungszusammenarbeit"Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Ebenso wie für die beiden zuvor genannten Projekte entwickelte und etablierte das CEval für das Projekt „Umweltorientierte Berufsbildung“ der deutsch-mexikanischen Entwicklungszusammenarbeit, ein Monitoring- und Evaluationssystem zur Qualitätssicherung und übernahm zusätzlich die methodische Schulung und praktische Einführung des Systems bei der mexikanischen Partnerorganisation. | 4/2001 | 3/2005 | Dr. Wolfgang Meyer | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Studie zur Gewinnung US- amerikanischer Studierender für deutsche HochschulenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Das CEval führte im Auftrag der beim DAAD angesiedelten Initiative „GATE-Germany - Konsortium für internationales Hochschulmarketing“ eine Studie zur ‚Gewinnung US-amerikanischer Studierender für deutsche Hochschulen‘ durch. Hintergrund sind zwei identifizierte Problemfelder: Zum einen stagnieren die Zahlen der US-Amerikaner, die zu einem Studienaufenthalt nach Deutschland kommen in den letzten Jahren nicht nur, sondern sind im Vergleich zu anderen europäischen Ländern (wie Italien oder Frankreich) sogar rückläufig. Zum anderen kommen die meisten amerikanischen Studierenden nur zu sehr kurzen Studienaufenthalten nach Deutschland, so dass eine nachhaltige Wirkung des Aufenthalts fraglich ist. Ziel der Studie war es, Erkenntnisse über die Mobilität der US-amerikanischen Studierenden zu liefern. Auf dieser Grundlage soll GATE-Germany die Marketing-Strategie für die USA weiter entwickeln, um den oben beschriebenen negativen Trend rückläufiger Studierendenzahlen insbesondere in den Ingenieur-, Natur- und Wirtschaftswissenschaften aufzuhalten und umzukehren und den Anteil an US-amerikanischen Studierenden, die an deutschen Hochschulen einen Abschluss anstreben oder promovieren, zu erhöhen. Die konzeptionelle Entwicklung der Studie und die Zusammenfassung der Ergebnisse in einer Handlungsempfehlung erfolgten in enger Abstimmung mit GATE-Germany. Im Vordergrund der Studie standen die folgenden zentralen Fragestellungen: • Welche Faktoren bestimmen maßgeblich die Entscheidung für ein Studium im Ausland allgemein und in Deutschland im Besonderen? • Über welche Informationswege, -mittel und Kommunikationsstrategien kann in wirksamer Weise auf die o.g. Faktoren Einfluss genommen werden, die die Entscheidung der Zielgruppe zu einem Auslandsstudium determinieren? • Mit welchen Studienangeboten könnten die Zielgruppen in den USA für ein Studium in Deutschland gewonnen werden? Als Ergebnis der Untersuchung wurde ein Maßnahmenkatalog mit konkreten Handlungsempfehlungen für die Akteure des internationalen Hochschulmarketings zur Gewinnung US-amerikanischer Studierender erstellt. Um ein umfangreiches Bild über die Mobilität der US- Studierenden zu erhalten, wurde für die Operationalisierung des Studienauftrags ein Multimethodenansatz gewählt, der eine angemessene Einbeziehung möglichst vieler Akteure des internationalen Stiudierendenaustauschs sicherstellt. Standardisierte Befragungen wurden mit US- Studierenden in Deutschland durchgeführt. VertreterInnen von Study Abroad Offices in den USA wurden mittels teilstandardisierten Befragung um ihre Einschätzungen bzgl. Deutschland und seiner Universitäten als Partnerland ihrer Institution gebeten. Leitfadengestüzte Interviews wurden mit 10 VertreterInnen Akademischer Auslandsämter, die für den Austausch mit den USA zuständig sind, durchgeführt. Die Ausarbeitungen der Fragebögen als auch des Leitfadens für die Befragung der VertreterInnen deutscher Akademischer Auslandsämter erfolgten gemäß des partizipativen Ansatzes des CEval in enger Abstimmung mit dem Auftraggeber GATE- Germany. Der abschließende Ergebnisbericht wurde im Mai 2005 vorgelegt. „Durch den Multimethodenansatz ist es gelungen, aus dem zwar begrenzten aber vielfältigen Datenfundus ein aussagekräftiges Bild zu entwickeln und wichtige Erkenntnisse und Empfehlungen zur Gewinnung US-amerikanischer Studierender für deutsche Hochschulen abzuleiten.“ (DAAD) | 8/2004 | 2/2005 | Dr. Vera Hennefeld | GATE-Germany, Deutscher Akademischer Austauschdienst (DAAD) |
Entwicklung eines Monitoringsystems für das Veranstaltungsprogramm des Bildungszentrums Kirkel (Phase II)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Forschungsprojekt soll die Qualität des gesellschaftspolitischen Weiterbildungsprogramms des Bildungszentrums Kirkel der Arbeitskammer des Saarlands bilanzieren und die Basis für einen fortlaufenden Qualitätsentwicklungsprozess legen. In der ersten, konzeptionellen Phase des Projekts wird zusammen mit den Dozentinnen und Dozenten sowie Mitgliedern der Führungsebene und der verantwortlichen Gremien ein Kriterienkatalog entwickelt, der verschiedene Dimensionen der Qualität gesellschaftspolitischer Weiterbildung beschreiben soll (Ziele, angestrebte Wirkungen, Charakter und Ausgestaltung der Seminare, etc.). In der anvisierten zweiten, operativen Phase (01/04 – 01/05) sollen die Messinstrumente für Dozenten- und Teilnehmerbefragungen entwickelt, eingesetzt, die Daten ausgewertet und ein Verfahren erarbeitet werden, das es dem Bildungszentrum ermöglicht, die Messungen nach dem Projekt-Ende selbstständig und dauerhaft fortführen zu können.
Insgesamt verfolgt das Projekt Ziele in vier Bereichen an: - Bestimmung der Qualitätskriterien und –ziele, die bei der Evaluation von allgemeinen und gesellschaftspolitischen Weiterbildungsveranstaltungen beachtet und bewertet werden sollen (Kriterienentwicklung zur Qualitätsbewertung).
- Umfassende Bestandsaufnahme der Qualität des Veranstaltungsprogramms des Bildungszentrums Kirkel im Bereich der gesellschaftspolitischen Weiterbildung (Beschreibung des Ist-Zustandes).
- Bestimmung des Mehrwerts an Qualität, der durch die Integration von E-Learning-Modulen in einzelnen Veranstaltungen (bzw. einzelnen Segmenten dieser Veranstaltungen) erreicht werden könnte (Definition von Zielfeldern).
- Regelmäßige Qualitätsmessung zur kontinuierlichen Weiterentwicklung des Veranstaltungsprogramms (Dauerbeobachtung von Wirkungen)
| 2/2004 | 1/2005 | Dr. Wolfgang Meyer | Bildungszentrum Kirkel, Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA) |
Entwicklung eines Monitoringsystems für das Veranstaltungsprogramm des Bildungszentrums Kirkel (Phase I)Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Forschungsprojekt soll die Qualität des gesellschaftspolitischen Weiterbildungsprogramms des Bildungszentrums Kirkel der Arbeitskammer des Saarlands bilanzieren und die Basis für einen fortlaufenden Qualitätsentwicklungsprozess legen. In der ersten, konzeptionellen Phase des Projekts wird zusammen mit den Dozentinnen und Dozenten sowie Mitgliedern der Führungsebene und der verantwortlichen Gremien ein Kriterienkatalog entwickelt, der verschiedene Dimensionen der Qualität gesellschaftspolitischer Weiterbildung beschreiben soll (Ziele, angestrebte Wirkungen, Charakter und Ausgestaltung der Seminare, etc.). In der anvisierten zweiten, operativen Phase (01/04 – 01/05) sollen die Messinstrumente für Dozenten- und Teilnehmerbefragungen entwickelt, eingesetzt, die Daten ausgewertet und ein Verfahren erarbeitet werden, das es dem Bildungszentrum ermöglicht, die Messungen nach dem Projekt-Ende selbstständig und dauerhaft fortführen zu können.
Insgesamt verfolgt das Projekt Ziele in vier Bereichen an: - Bestimmung der Qualitätskriterien und –ziele, die bei der Evaluation von allgemeinen und gesellschaftspolitischen Weiterbildungsveranstaltungen beachtet und bewertet werden sollen (Kriterienentwicklung zur Qualitätsbewertung).
- Umfassende Bestandsaufnahme der Qualität des Veranstaltungsprogramms des Bildungszentrums Kirkel im Bereich der gesellschaftspolitischen Weiterbildung (Beschreibung des Ist-Zustandes).
- Bestimmung des Mehrwerts an Qualität, der durch die Integration von E-Learning-Modulen in einzelnen Veranstaltungen (bzw. einzelnen Segmenten dieser Veranstaltungen) erreicht werden könnte (Definition von Zielfeldern).
- Regelmäßige Qualitätsmessung zur kontinuierlichen Weiterentwicklung des Veranstaltungsprogramms (Dauerbeobachtung von Wirkungen)
| 8/2004 | 1/2005 | Dr. Wolfgang Meyer | Bildungszentrum Kirkel, Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA) |
| DAAD-Bereichsevaluation „Stipendien für Ausländer“ | 11/2003 | 12/2004 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
Einführung eines Monitoring- und Evaluationssystems in einem Berufsbildungsprojekt der deutsch- ägyptischen EntwicklungszusammenarbeitLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Entwicklung und Implementation eines Monitoring- und Evaluationssystems für die Mubarak-Kohl-Initiative zur Einführung einer dualen Berufsausbildung in Ägypten. | 1/2002 | 12/2004 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Evaluation der Entwicklungspartnerschaft "MENTOR" (Multifunctional European Network for Technological Cooperation, Open Learning and Research) als Teil der EU-Gemeinschaftsinitiative EQUALLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Die Evaluation dieses Projekts soll im Anfang primär begleitend und projektunterstützend (formativ) sein, während mit zunehmender Reife der Entwicklungspartnerschaft eine Bewertung gemäß der EQUAL-Ziele erfolgen wird. EQUAL verfolgt generell einen Abbau von Benachteiligungen am Arbeitsmarkt, um die Anpassungsfähigkeit, Beschäftigungsfähigkeit und den Unternehmergeist von traditionell benachteiligten Gruppen (Migranten, Frauen, Behinderte, etc.) zu stärken. Die Partnerschaft MENTOR, ein Netzwerk verschiedener regionaler Akteure des Saarlandes, setzt diese Ziele primär im Rahmen von Schulungen unter Anwendung neuer Informations- und Kommunikationstechnologien um. | 3/2003 | 12/2004 | Dr. Vera Hennefeld | Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI) |
| Evaluation des Projekts “eLearning in der Bewegungs- und Trainingswissenschaft” | 11/2003 | 2/2004 | Dr. Vera Hennefeld | Competence Center "Virtuelle Saar Universität" (CC VISU) |
Aktion WasserzeichenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Die „Aktion Wasserzeichen“ ist ein Programm des Ministeriums für Umwelt, mit dem die saarländischen Gemeinden bei ihren Bemühungen, nicht verunreinigtes Niederschlagswasser von reinigungsbedürftigem Abwasser zu trennen, finanziell unterstützt werden. Seit in Kraft treten der Aktion Wasserzeichen im Jahre 1996 wurden ca. 400 Projekte mit insgesamt rund 65 Mio. € bezuschusst. Im Rahmen dieser Evaluation wird systematisch untersucht, wie das Projekt bei den Beteiligten vor Ort angenommen wird und wo Probleme auftreten. Die Ergebnisse der Evaluation sollen für eine Neukonzeption der Aktion Wasserzeichen genutzt werden. | 11/2003 | 1/2004 | Dr. Wolfgang Meyer | Ministerium für Umwelt und Verbraucherschutz des Saarlandes |
Zwischenevaluierung des Regionalmanagements und der regionalen Partnerschaft „Vis à Vis e.V.“Leiter: Dr. Wolfgang Meyer Beschreibung Das Saarland gehört zu den ausgewählten Modellregionen des im September 2001 vom Bundesministerium für Verbraucherschutz, Ernährung und Landwirtschaft (BMVEL) ausgeschriebenen Wettbewerbs „REGIONEN AKTIV“, der den Gedanken der Agrarwende in den Regionen und in der Bevölkerung stärker verankern soll. In diesem Kontext wurden bisher mehr als 20 unterschiedliche Teilprojekte in unterschiedlichen Bereichen von der saarländischen Regionalpartnerschaft initiiert. Zur Steuerung dieser regionalen Aktivitäten wurde im Mai 2002 der Verein „Vis à Vis – Stadt und Land – Nachbarn mit Zukunft“ gegründet, dem gegenwärtig 36 institutionelle Mitglieder aus den Bereichen Landwirtschaft, Forst, Umwelt und Naturschutz, Handwerk, Verbraucherschutz sowie der öffentlichen Verwaltung angehören. Grundlage der Vereinsaktivitäten bildet ein regionales Entwicklungskonzept (REK), in dem die wesentlichen Ziele und Maßnahmenstrategien der Partnerschaft verankert sind. Im Rahmen einer Halbzeitbewertung des Gesamtprogramms „REGIONEN AKTIV“ beauftragte der Verein „Vis à Vis“ das CEval mit einer externen Evaluation auf den Ebenen der regionalen Partnerschaft bzw. des REKs sowie des Regionalmanagements. Verbunden hiermit sind drei wesentliche Aufgabenstellungen: - Bilanzierung der bisherigen Aktivitäten des Regionalmanagements und der regionalen Partnerschaft, d.h. eine Bewertung des Prozesses (Planung, Durchführung und Steuerung) sowie eine Bewertung der bisher erreichten Ergebnisse (Wirkungen),
- Erstellung von Empfehlungen für die Weiterentwicklung des Regionalmanagements und der regionalen Partnerschaft in der zweiten Hälfte der Laufzeit des Wettbewerbs,
- Beratungsleistungen bei der Evaluierung der geförderten Teilprojekte.
Die methodische Vorgehensweise zur Beantwortung der ersten zentralen Aufgabenstellung orientiert sich an einem auf dem Evaluationskonzept des CEval basierenden Analyseleitfaden. Bewertungsgrundlage stellen hierbei die systematischen Auswertungen vorliegender schriftlicher Dokumentationen, die während der Teilnahme an zentralen Sitzungen der Partnerschaft gewonnenen Eindrücke sowie – im Sinne einer partizipativen Vorgehensweise – die Einschätzungen möglichst vieler Beteiligter der Partnerschaft dar (Leitfadeninterviews und standardisierte Befragung). Basierend auf den so gesammmelten Befunden erfolgt eine Ableitung von Empfehlungen für eine Weiterentwicklung der Organisations- und Steuerungsstrukturen der Partnerschaft. Ein abschließender Ergebnisbericht wurde im Januar 2004 eingereicht. | 10/2003 | 1/2004 | Dr. Wolfgang Meyer | Vis à Vis e.V. |
eBuT e-Learning in der Bewegungs- und TrainingswissenschaftLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Mittelpunkt der Evaluation steht die Analyse des anvisierten Mehrwerts (Distanz, Multimedialität, Interaktivität) der internetbasierten Lehr-Lern-Module gegenüber traditionellen Unterrichtssituationen. Darüber hinaus werden auch die Projektziele der Implementation der Lehr-Lern-Module in das sportwissenschaftliche Grundstudium sowie die Diffusion über die beteiligten Universitäten hinaus geprüft. Ergänzt wird die Wirkungsanalyse durch kausalanalytische Betrachtungen, die den festgestellten Projektwirkungen kausale Ursachenfaktoren zuschreiben. Hierfür ist eine Begleitung aller Projektphasen, von der Planung, über die Implementation bis zur Nachförderphase, erforderlich. | 7/2001 | 12/2003 | Dr. Vera Hennefeld | eBuT Bewegungs- und Trainingswissenschaft |
Evaluation des Leonhard-Euler-StipendienprogrammsLeiter: Dr. Vera Hennefeld Beschreibung Im Rahmen des Leonhard-Euler-Stipendienprogramms des DAAD werden deutschen Hochschulen, die eine gut funktionierende Partnerschaft mit einer russischen, ukrainischen oder belorussischen Hochschule insbesondere auf den Gebieten der Natur- und Ingenieurwissenschaften unterhalten, Mittel für Sur-Place-Stipendien für russische, ukrainische oder belorussische Nachwuchswissenschaftler zur Verfügung gestellt. Diese Fördermaßnahme zielt darauf ab, den Kontakt zwischen ausländischen Nachwuchswissenschaftlern und deutschen Hochschulen zu intensivieren, gemeinsame bilaterale Forschungsvorhaben nachhaltig zu fördern sowie einen Beitrag zur Qualifizierung des wissenschaftlichen Nachwuchses aus der Russischen Förderation, der Ukraine und Belarus zu leisten, um damit u. a. zum Verbleib des wissenschaftlichen Nachwuchses an den Hochschulen des betreffenden Landes beizutragen.
In der vom DAAD in Auftrag gegebenen Evaluationsstudie sollte anhand 60 ausgewählter Projekte zum einen die Frage beantwortet werden, inwieweit das Förderprogramm seine Ziele erreicht und zum anderen sollten aus den Ergebnissen der Studie Empfehlungen für die Programmfortführung abgeleitet werden.
Bei der Operationalisierung des Evaluationsauftrags kam insbesondere der Multimethodenansatz der CEval-Evaluationskonzeption zum Tragen: Neben der standardisierten Befragung der deutschen Projektleiter sowie der in den Projekten geförderten Stipendiaten wurden bei diesen Befragtengruppen und darüber hinaus bei Mitarbeitern der Verwaltung ausgewählter Hochschulen leitfadengestützte Interviews eingesetzt. Daneben wurden stichprobenhaft Projektbesuche durchgeführt. Die Erarbeitung der Erhebnungsinstrumente sowie die Interpretation der Ergebnisse wurde unterstützt durch eine sekundäranalytische Auswertung der Abschlussberichte der untersuchten Projekte sowie weiterer Informationsmaterialien des DAAD.
Im Anschluss an die Erhebungsphase erfolgte eine systematische Analyse sowie die Zusammenführung der unterschiedlichen Daten. Die Ergebnisse der Studie verweisen auf einen insgesamt hohen Zielerreichungsgrad des Leonhard-Euler-Programms. Es wurde deutlich, dass das Programm aus Sicht der deutschen Projektbeauftragten, der geförderten Stipendiaten sowie der Mitarbeiter der Verwaltung ausgewählter Hochschulen in seiner Förderstruktur auf die Probleme der Hochschulen der ehemaligen Sowjetunion reagiert und zu deren Lösung spezifische Beiträge leistet. Die vom CEval ausgesprochenen Empfehlungen betreffen u. a. den Deutschlandaufenthalt sowie die Stipendienraten.
| 8/2003 | 12/2003 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
| Evaluation des DAAD / BMZ Programms "Nachbetreuung ehemaligerStudierender aus Entwicklungsländern" | 2/2003 | 8/2003 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
Evaluation deutsch-japanischer HochschulpartnerschaftenLeiter: Dr. Vera Hennefeld Beschreibung Die vom DAAD in Auftrag gegebene Evaluationsstudie über deutsch-japanische Hochschulpartnerschaften verfolgte zum einen das Ziel, anhand der Informationen über aktuell bestehende Partnerschaften zwischen deutschen und japanischen Hochschulen die Förderprogramme des DAAD in diesem Bereich besser an den Bedarf der Partnerschaften anpassen zu können. Zum anderen lieferten die gewonnenen Informationen auch Hinweise dazu, wie im Allgemeinen eine Intensivierung der Hochschulkooperationen zwischen Deutschland und Japan erreicht werden kann. Eine standardisierte Befragung der deutschen Partnerschaftsbeauftragten beantwortete u. a. Fragen nach der Aktivität der Partnerschaften, nach Problemen und Hindernissen im Rahmen der Partnerschaften und nach Erwartungen hinsichtlich zukünftiger Entwicklungen. Aus den gewonnenen Ergebnissen wurden schließlich Indikatoren abgeleitet, die eine Einstufung bestehender und zukünftiger deutsch-japanischer Hochschulpartnerschaften hinsichtlich ihrer partnerschaftlichen Aktivit | 5/2003 | 7/2003 | Dr. Vera Hennefeld | Deutscher Akademischer Austauschdienst (DAAD) |
Cedefop-Studie „Benefits of education, training and skills in an individual life course perspective with a particular focus on life-couse and biographical research“Leiter: Dr. Wolfgang Meyer Beschreibung In ihrer Funktion als Europäische Referenzinstitution für die Entwicklung der beruflichen und betrieblichen Bildung veröffentlicht die CEDEFOP regelmäßig Berichte zum Stand der Berufsbildungsforschung in Europa. Das übergreifende Thema des kommenden Berichts „Evaluations- und Wirkungsforschung“ wird von unterschiedlichen Perspektiven und auf der Grundlage verschiedener Theorieansätze beleuchtet. Der Beitrag des CEval nähert sich dem Thema aus einer Mikro-Perspektive, indem Ergebnisse der Lebensverlaufs- und Biographieforschung auf ihren Gehalt für diese Fragestellung abgeklopft werden. Gegenstand des Projekts ist daher eine ausführliche Literaturstudie, in der versucht wird, sämtliche für die Evaluation der Berufsbildung relevanten Ergebnisse aus der LV/B-Forschung in Europa systematisch auszuwerten und darzustellen. | 10/2002 | 2/2003 | Dr. Wolfgang Meyer | Europäisches Zentrum für die Förderung der Berufsbildung (CEDEFOP) |
Entwicklung und Implementation eines Monitoring- und Evaluationssystems für das philippinisch-deutsche Berufsbildungsprojekt "Promotion of Dual Training and Education" auf den PhilippinenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Zeitraum von 2 Jahren wurde ein M&E-System für das Berufsbildungsprojekt der GTZ in Manila mit den beteiligten Partnern entwickelt und implementiert. Im Rahmen dieses Prozesses wurden Schulleiter, Lehrer, Unternehmer und Ausbilder, die in die duale Berufsausbildung involviert sind, mittels standardisierten Face-to-face-Interviews befragt und eine Absolventenverbleibsanalyse durchgeführt. | 9/2000 | 2/2003 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Evaluation von EU-Twinning-ProjektenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Von der EU-Kommission wurde 1998 ein Förderprogramm zur Begleitung des Beitrittsprozesses von 12 ost- und südeuropäischen Ländern aufgelegt. Zentrales Ziel dieses "Twinning-Programms" ist es, diese Länder bei dem Aufbau einer modernen, effektiven Verwaltung zu unterstützen, die in der Lage ist, den gemeinschaftlichen Besitzstand gemäß den Standards umzusetzen, welche in den gegenwärtigen Mitgliedsstaaten gelten. In einer ersten Phase der Evaluation sollen drei bereits abgeschlossene Twinning-Projekte (mit Bulgarien, Rumänien und der Slowakischen Republik) im Bereich "Abfallwirtschaft" hinsichtlich ihrer Wirksamkeit überprüft werden. | 6/2002 | 12/2002 | Dr. Wolfgang Meyer | Bundesinstitut für Umwelt, Naturschutz, Bau und Reaktorsicherheit (BMU) |
Evaluation des E-Journals "Motor Control and Learning", ein Subprojekt des von der Europäischen Kommission kofinanzierten Projektes ITES ("Information Technologies in European Sport and Sport Science")Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Projekt ITES hat zum Ziel, internet-basierte Informations- und Kommunikationskonzepte zu entwickeln, welche die universitären Anwendungsfelder Veranstaltungen, Veröffentlichungen und Lehre abdecken. Im Rahmen des ITES-Subprojekts ‚web-based publishing’ wurde hierbei vom Sportwissenschaftlichen Institut der Universität des Saarlandes
das E-Journal „Motor Control and Learning“ konzipiert und implementiert.
Für die Evaluation dieses E-Journals wurde vom CEval ein Evaluations- und Monitoring-Konzept entwickelt und umgesetzt. Folgende Aspekte werden hierbei schwerpunktmäßig erfasst: (1) die "Attraktivität" und (2) die "Aktualität" des E-Journals, (3) die Erreichung der Zielgruppen, (4) die Qualität der technischen Implementierung, (5) die inhaltliche Qualität des E-Journals und (6) die Qualität der Dienstleistungen und der Homepage-Verwaltung.
Die Erhebung der hierfür notwendigen Daten erfolgt zum einen mittels eines standardisierten Online-Fragebogens, der den Nutzern des E-Journals in regelmäßigen Intervallen präsentiert wird und zum anderen durch eine Analyse der standardmäßig aufgezeichneten Internet-Nutzungsprotokolle (Log Files).
| 1/2000 | 12/2002 | Dr. Vera Hennefeld | Sportwissenschaftliches Institut an der Universität des Saarlandes |
Recherche und Erstellung einer Übersicht der wichtigsten Audits zur sozialen Verantwortung von UnternehmenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Diese Exklusivstudie beinhaltet sowohl die Recherche als auch Analyse und zusammenfassende Darstellung der relevanten Fakten zum Themenkomplex „social audits“. Dabei liegt der Fokus insbesondere auf der Erstellung einer Übersicht der wichtigsten Standards, Zertifizierungsmöglichkeiten, Audits, usw. zur sozialen Verantwortung von Unternehmen.
Insofern konzentriert sich die Studie, neben der Sichtung übergreifender Standards wie z.B. der Menschenrechte, der Kernarbeitsnormen der „Internationalen Arbeitsorganisation“ (IAO), auch auf die Analyse und Aufstellung relevanter Zertifizierungsinstitutionen und -organisationen auf nationaler und internationaler Ebene.
| 8/2002 | 10/2002 | Dr. Wolfgang Meyer | |
Analyse und Bewertung der Projektberichterstattung von EURES-Transfrontalier Saar-Lor-Lux-Rheinland-Pfalz und Konzeption eines Monitoring- und Evaluations-SystemsLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Vera Hennefeld Beschreibung Die Studie analysiert und bewertet die im Rahmen von European Employment Services-Transfrontalier Saar-Lor-Lux-Rheinland-Pfalz (EURES-T SLLR) geförderten Projekte sowie die Tätigkeitsberichte der EURES-Koordination. Ferner wurden Empfehlungen zur Verbesserung und Systematisierung der Berichterstattung erarbeitet und ein M+E-System zur Qualitätssicherung der Projektarbeit entwickelt. | 7/2002 | 9/2002 | Dr. Vera Hennefeld | EURES Transfrontalier Saar-Lor-Lux-Rheinland-Pfalz |
"Entwicklung eines Konzepts zur Evaluation von e-Learning Angeboten im Rahmen von VISU (Virtuelle Saar-Universität)"Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Auftrag von Herrn Prof. Dr. Reinhard Daugs, Leiter des Projekts VISU (Virtuelle-Saar-Universität), wurde ein umfassendes Konzept zur Evaluation internetbasierter Hochschul-Lehrangebote entwickelt. Ziel ist, allen Fachrichtungen und Lehrstühlen der Universität des Saarlandes ein geeignetes Instrumentarium zur Verfügung zu stellen, mit dem Online-Lehrangebote über alle Phasen der Planung, Entwicklung und Implementierung (Anbieterseite) sowie der Anwendung (Nutzerseite) evaluiert werden können. | 1/2001 | 7/2002 | Dr. Vera Hennefeld | Competence Center "Virtuelle Saar Universität" (CC VISU) |
Gutachten zu den Perspektiven der Programmarbeit der DSE-ZGBLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Die konzeptionelle Reformulierung der Berufsbildungshilfe Anfang der 90er Jahre sowie die Neukonzipierung der Entwicklungszusammenarbeit (EZ) nach dem Regierungswechsel erfordern Anpassungen der ZGB-Programmarbeit. Anhand von drei ausgewählten Schwerpunktländern der deutschen EZ (Ägypten, Indien, Uganda) wurden daher in einem Gutachten Aussagen zur zukünftigen Rolle sowie zu den Beiträgen der DSE-ZGB im Rahmen einer neugeordneten EZ im Bereich der beruflich-technischen Bildung erarbeitet. | 1/2002 | 5/2002 | Dr. Stefan Silvestrini | Deutsche Stiftung für internationale Entwicklung (DSE), Zentralstelle für Gewerbliche Berufsförderung (ZGB) |
Online-Erhebung zur Lage der Soziologie an deutschen HochschulenLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Wolfgang Meyer Beschreibung Zum ersten Mal seit knapp dreißig Jahren wurden sämtliche Standorte des Studienfachs Soziologie in der Bundesrepublik Deutschland zur Entwicklung des Fachs befragt. Die Erhebung erfolgte über das Internet, wobei die notwendigen technischen Grundlagen im Rahmen von Lehrveranstaltungen gemeinsam mit den Studierenden erarbeitet wurden. | 3/1999 | 9/2001 | Dr. Wolfgang Meyer | Eigenprojekt mit Unterstützung durch die Deutsche Gesellschaft für Soziologie (DGS) |
"Entwicklung und Implementation eines Monitoring- und Evaluationssystems für das Projekt Dezentralisierung der Abfallwirtschaft im Bundesstaat Mexiko der deutsch-mexikanischen Entwicklungszusammenarbeit"Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Ein vom Centrum für Evaluation (CEval) für das Projekt „Dezentralisierung der Abfallwirtschaft im Bundesstaat Mexiko“ entwickeltes und etabliertes Monitoring- und Evaluationssystem dient der kontinuierlichen Wirkungsbeobachtung über den gesamten Projektverlauf und stellt somit ein zentrales Instrument der Qualitätssicherung dar. Das Vorhaben umfasst die konzeptionelle Entwicklung von M&E-Instrumenten und –Verfahren, die methodische Schulung der zuständigen Mitarbeiter in den Partnerorganisationen sowie die beratende Begleitung bei der Erfassung, Auswertung und Nutzung von Daten über den Projektverlauf und die Projektergebnisse. | 4/2000 | 4/2001 | Dr. Wolfgang Meyer | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
Evaluation des Landesförderprogramms "Ausbildung Jetzt"Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Seit 1997 fördert die saarländische Landesregierung die Einrichtung zusätzlicher Ausbildungsplätze durch saarländische Betriebe und Unternehmen mit einem spezifisch ausgerichteten Förderprogramm. Die durchgeführte ex-post Evaluation des Programms sollte zum einen die Wirksamkeit der Förderung prüfen und zum anderen Empfehlungen für eine modifizierte Weiterführung des Förderprogramms abgeben. | 1/2000 | 12/2000 | Dr. Wolfgang Meyer | Ministerium für Wirtschaft, Arbeit, Energie und Verkehr des Saarlandes |
Evaluation des Orientierungsberatungsprogramms der Deutschen Bundesstiftung Umwelt in den neuen BundesländernLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Als Soforthilfe für die neuen Bundesländern unterstützte die Deutsche Bundesstiftung Umwelt zwischen 1991 und 1996 mit rd. 25 Mio. Euro den Aufbau einer Umweltberatungsinfrastruktur bei den neugegründeten Handwerks-, Industrie- und Handelskammern, verschiedenen Einzelgewerkschaften und der Landwirtschaftsberatung Mecklenburg-Vorpommern sowie die Vermittlung von fast 10.000 Beratungen privater Ingenieurbüros bei Kommunen sowie kleineren und mittleren Unternehmen. Im Rahmen der ex-post Evaluation wurden knapp 1500 beratene Betriebe und Kommunen telefonisch befragt und rund 80 Leitfaden gestützte Intensivinterviews mit allen Beteiligten durchgeführt. | 1/1997 | 12/2000 | Dr. Wolfgang Meyer | Deutsche Bundesstiftung Umwelt (DBU) |
Wissenschaftliche Begleitung der BMZ Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Vor dem Hintergrund steigenden Interesses an der langfristigen Wirksamkeit der deutschen Entwicklungszusammenarbeit (EZ) sowie einem Beschluss des Deutschen Bundestages startete das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) 1997 eine groß angelegte Studie „Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ“. Ziel der Studie war es, erstmals durch eine breit angelegte Untersuchung empirisch abgesicherte Aussagen zu langfristigen Wirkungen der deutschen EZ zu gewinnen. Zu diesem Zweck wurden 1999 Einzelevaluationen von 32 Projekten in den jeweiligen Empfängerländern durchgeführt. | 1/1997 | 12/2000 | Dr. Stefan Silvestrini | Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
Evaluation der Umweltberatungsprojekte des BundesumweltministeriumsLeiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Dr. Wolfgang Meyer Beschreibung Seit 1989 unterstützen das Bundesumweltministerium und das Umweltbundesamt jährlich mit ca. 0,9 Mio. Euro Projekte zur Durchführung von Umweltberatungen bei bundesweit operierenden Verbänden (bis zum Evaluationszeitpunkt ungefähr 100 Maßnahmen mit einem Volumen von über 8 Mio. Euro). Bei der ex-post Evaluation wurden die Wirkungen von einem Drittel der Projekte (mit Beteiligung von 30 verschiedenen Organisationen) untersucht. | 4/1999 | 11/2000 | Dr. Wolfgang Meyer | Umweltbundesamt (UBA) |
Evaluation des Kunstprojektes ‚Wetterfernsehen – Telematische Skulptur der KZ-Gedenkstätte Neue Bremm’Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Ziel des Projektes ‚Wetterfernsehen – Telematische Skulptur der KZ-Gedenkstätte Neue Bremm‘ der Designerin Sandra Anstätt und des Künstlers Rolf Giegold war eine künstlerisch konzipierte Gesprächsanbahnung über die Saarbrücker KZ-Gedenkstätte an der Grenze zu Frankreich und ihre heutige Bedeutung. Über Monitore wurde ein Livebild der KZ-Gedenkstätte Neue Bremm in Form eines Wetterbildes, wie es teilweise von TV-Programmen ausgestrahlt wird, an acht Standorten in öffentlichen Gebäuden Saarbrückens übertragen. Die telematische Skulptur sollte den sozial wie urban ‚unterbelichteten‘ Ort am Stadtrand in die Stadtmitte bringen und somit Passanten einen Zugang zum Ort selbst eröffnen. Die medial wirksame künstlerische Vermittlungsstrategie bzw. Kommunikationskonzeption sollte - über den Ort und seine Geschichte hinausgehend - zum Nachdenken über die Folgen des Faschismus anregen.
Eine Evaluation des Projektes sollte Aufschluss darüber geben, inwieweit sich die Erwartungen der Projektautoren Anstätt und Giegold erfüllt haben und das Projekt die intendierten Wirkungen erreicht hat, d.h. inwieweit der Monitor bzw. das gezeigte Bild einen kommunikativen Prozess bei den Betrachtern ausgelöst hat. Von zentralem Interesse war hierbei die Frage nach der Wahrnehmung der Monitore durch Passanten an sich aber auch die Frage nach der Reaktion, die ausgelöst wurde.
Anhand einer empirischen Studie wurde gezeigt, dass ein Großteil der Personen, die einen der Monitore passiert hatten, diesen nicht nur sahen sondern auch inhaltlich korrekt wahrnahmen, wobei die Häufigkeit, mit der eine Person einen der Monitore passierte, einen Einfluss auf die Wahrnehmung hatte. In einem weiteren Schritt wurde gezeigt, dass die Monitore die intendierte Reaktion bewirkten: Viele der befragten Personen gaben an, sich bereits über den Monitor unterhalten zu haben.
Veröffentlichung:
Caspari, Alexandra, 2001: Wahrnehmung und Reaktion. Eine Evaluation des Projektes Wetterfernsehen, in: Haberl, H.G./Bohr, K.; Wetterfernsehen. Osfildern-Ruit: Crantz, S. 74-91 | 1/2000 | 10/2000 | Dr. Stefan Silvestrini | Kultur- und Schulverwaltungsamt Saarbrücken |
Evaluierung der Berufsbildungssituation der Provinz Gansu in der VR ChinaLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Im Zuge der Neuordnung der Projekte der HSS in der VR China hinsichtlich einer bildungspolitischen Systemberatung wurde die Situation der beruflichen Bildung in der Provinz Gansu evaluiert. | 3/2000 | 4/2000 | Dr. Stefan Silvestrini | Hanns-Seidel-Stiftung (HSS) |
| Querschnittsauswertung über 32 Ex-post Evaluationen | 8/1999 | 3/2000 | Dr. Stefan Silvestrini | Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
| Evaluation des Förderprogramms ‚Anreizorientierung zur Beschleunigung der Studienreform, zur Studienzeitverkürzung und zur Verbesserung der Lehre’ | 1/1998 | 8/1999 | Dr. Vera Hennefeld | Universität des Saarlandes |
Wirkungsanalyse ausgewählter Berufsbildungsprojekte der chinesisch-deutschen Entwicklungszusammenarbeit in der VR ChinaLeiter: Prof. Dr. Reinhard Stockmann Beschreibung In dieser Studie wurde herausgearbeitet, inwieweit die unterschiedliche Wirksamkeit von Berufsbildungsprojekten in der VR China auf unterschiedliche Förderkonzepte, Strategien, Vorgehensweisen und Handlungsbedingungen der beiden Organisationen GTZ und HSS zurückgeführt werden kann. Aus der vergleichenden Betrachtung wurden Empfehlungen für die Entwicklungspolitik im Hinblick auf die eingesetzten Förderstrategien und unterschiedlichen Arbeitsweisen der beiden Durchführungsorganisationen abgeleitet. | 9/1998 | 2/1999 | Dr. Wolfgang Meyer | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ), Hanns-Seidel-Stiftung (HSS) |
| Ex-post Evaluation des GTZ-Projektes ‚Maschinenstationen der Jordan Cooperative Organization – Jordanien’ | 8/1998 | 10/1998 | Dr. Stefan Silvestrini | Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
| Ex-post Evaluation des KfW-Projektes ‚Ländliche Gesundheitseinrichtungen Swasiland’ | 8/1998 | 10/1998 | Dr. Stefan Silvestrini | Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
| Erstellung eines Gutachtens ‚Ex-Post Evaluationen als Instrument des Qualitätsmanagements’ | 1/1998 | 5/1998 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
| Erstellung eines Durchführungskonzeptes ‚Wirkungsanalyse von Berufsbildungsprojekten in Pakistan’ | 6/1997 | 10/1997 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
| Entwicklung einer Methodologie für eine Benefit Monitoring and Evaluation (BME) inkl. eines Social Impact Monitoring (SIM) im Rahmen des Weltbank-Projektes ‚Road Rehabilitation Project – Kyr-gyz Republic’ | 8/2001 | 0/0 | Dr. Stefan Silvestrini | Müller&Müller Consulting |
| Erstellung eines Skriptes ‚Basics in Statistics and Methods of Social Research’ im Rahmen einer Qualifizierungsmaßnahme des MKI-Projektpersonals, Ägypten, zur Etablierung eines M&E-Systems | 2/1999 | 0/0 | Dr. Stefan Silvestrini | Mubarak-Kohl-Initiative Ägypten (MKI) |
| Erarbeitung eines sektorunabhängigen Analyseleitfadens für die Ex-post Evaluationen der ‚BMZ Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ’ | 12/1998 | 0/0 | Dr. Stefan Silvestrini | Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
| Querschnittsauswertung über vier Testläufe | 11/1998 | 0/0 | Dr. Stefan Silvestrini | Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) |
| Erstellung eines Durchführungskonzeptes ‚Kurzkurse zur Anwendung von Statistik und Methoden der empirischen Sozialforschung im Themenfeld Arbeitsmarkt und Berufsbildung’ für die Mubarak-Kohl-Initiative (MKI), Kairo | 8/1997 | 0/0 | Dr. Stefan Silvestrini | Mubarak-Kohl-Initiative Ägypten (MKI) |
| Erstellung eines Durchführungskonzeptes ‚Kurzkurse zur Anwendung von Statistik und Methoden der empirischen Sozialforschung im Themenfeld Arbeitsmarkt und Berufsbildung’ | 8/1997 | 0/0 | Dr. Stefan Silvestrini | Deutsche Stiftung für internationale Entwicklung (DSE), Zentralstelle für Gewerbliche Berufsförderung (ZGB) |
| Erstellung eines Durchführungskonzeptes ‚Evaluation der Orientierungsberatungsprogramme des ZDH, DIHT, Difu, des gewerkschaftlichen und des landwirtschaftlichen Beratungsprogramms’ | 1/1997 | 0/0 | Dr. Stefan Silvestrini | Deutsche Stiftung für internationale Entwicklung (DSE) |
Weiterentwicklung von Instrumenten der Berufsbildungsberatung im Ausland auf der Grundlage einer Nachhaltigkeitsanalyse von TRANSFORM-ProjektenLeiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Kürzel TRANSFORM steht für die Förderung der Berufsbildung in Mittel- und Osteuropa und wurde 1993 von der deutschen Bundesregierung als Beratungsprogramm initiiert. Die insgesamt über 100 Einzelprojekte wurden vom Bundesinstitut für Berufsbildung (BiBB) fachlich betreut und wissenschaftlich begleitet. Das Anliegen dieses Projekts ist nun eine Nachhaltigkeitsanalyse (Evaluation) von TRANSFORM Projekten, die in Russland angesiedelt waren und auf eine Modernisierung der vormarktwirtschaftlichen Ausbildungen (insbesondere im kaufmännischen Bereich) zielten. Untersucht wird gemeinsam mit dem BiBB, inwieweit es gelungen ist, die dort eingeführten Innovationen langfristig, d.h. auch Jahre nach Ende der Projekt- und Förderphase, umzusetzen und ggf. weiter zu entwickeln. Die Ergebnisse der Evaluation sollen wichtige Anhaltspunkte für die Qualität der eingesetzten Beratungsinstrumente liefern und Impulse für künftige Beratungsprojekte geben. | 6/2001 | 0/0 | Dr. Wolfgang Meyer | Bundesinstitut für Berufsbildung (BIBB) |
"Entwicklung und Implementation eines Monitoring- und Evaluationssystems für das Projekt Umweltschutz und industrielle Wettbewerbsfähigkeit der deutsch-mexikanischen Entwicklungszusammenarbeit"Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Ein vom Centrum für Evaluation (CEval) für das Projekt „Umweltschutz und industrielle Wettbewerbsfähigkeit“ entwickeltes und etabliertes Monitoring- und Evaluationssystem dient der kontinuierlichen Wirkungsbeobachtung über den gesamten Projektverlauf und stellt somit ein zentrales Instrument der Qualitätssicherung dar. Das Vorhaben umfasst die konzeptionelle Entwicklung von M&E-Instrumenten und –Verfahren, die methodische Schulung der zuständigen Mitarbeiter in den Partnerorganisationen sowie die beratende Begleitung bei der Erfassung, Auswertung und Nutzung von Daten über den Projektverlauf und die Projektergebnisse. | 4/2000 | 0/0 | Dr. Stefan Silvestrini | Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) |
