Projekte

Projektname	Beginn	Ende	Ansprechpartner	Auftraggeber
Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte	4/2019	3/2022	Selina Röhrig	Bundesministerium für Bildung und Forschung (BMBF)
Leiter: Prof. Dr. Reinhard Stockmann Mitarbeiter: Selina Röhrig Kooperationspartner: Chinesisch-Deutsches Institut für Berufsbildung der Tongji-Universität (CDIBB), Shanghai, Centrale Institute for Vocational & Technical Education (CIVTE), Beijing Beschreibung Im Forschungsprojekt „Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte“ soll erstmals untersucht werden, ob in bisherigen Forschungsarbeiten identifizierte und zu einem Schlüsselgrößenmodell zusammengeführte Erfolgsfaktoren internationaler Berufsbildungskooperationen auch für Kooperationen außerhalb der Entwicklungszusammenarbeit, im privatwirtschaftlichen Bereich und in China gelten. Aus der quantitativen und qualitativen Untersuchung staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Berufsbildungskooperationen werden allgemeine Handlungsempfehlungen generiert und einzelne Projekte oder Maßnahmen als Best-Practice-Beispiele herausgestellt. Tagungen und Publikationen befördern eine umfassende Dissemination, Diskussion und Nutzung der gewonnenen Erkenntnisse in der internationalen Berufsbildungsforschung und -praxis.
Entwicklung eines M&E-Konzepts, M&E-Unterstützung sowie Entwicklung von Lern- und Austauschformaten für die Initiative "Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika"	10/2018	10/2021	Teresa Böttcher	Deutsche Stiftung Weltbevölkerung (DSW)
Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Wolfgang Meyer Beschreibung Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), die Deutsche Stiftung Weltbevölkerung, die Siemens Stiftung und die Hanns R. Neumann Stiftung wollen gemeinsam die Perspektiven von Jugendlichen in ländlichen Gebieten Ostafrikas verbessern. Im Rahmen der Initiative "Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika" befähigen die Partner hierfür Jugendliche, Entwicklungsprozesse aktiv zu gestalten und sich in relevanten politischen Prozessen Gehör zu verschaffen. Außerdem sollen die Lebensgrundlagen der Jugendlichen durch die Erhöhung ihres Einkommens und die Verbesserung ihrer Gesundheitsversorgung verbessert werden. Damit soll auch ein Beitrag zur Bekämpfung der Ursachen von Migration geleistet werden. Die Initiative wird von drei lokalen Implementierungspartnern in Uganda umgesetzt, nämlich Action for Health Uganda, Hanns R. Neumann Stiftung Africa Ltd. und WHAVE Solutions. Der Auftrag umfasst drei Aufgaben: die Entwicklung eines M&E-Konzepts für das Programm, die Unterstützung des Monitorings und der Evaluation des Programms durch die Durchführung von drei Untersuchungen (Baseline, Midterm und Final) und die Unterstützung des Lernens und Austauschs in der Pilotphase des Programms. Zur Erreichung dieser Ziele wird ein partizipativer Ansatz verfolgt, wobei auf eine starke Einbeziehung der verschiedenen Stakeholdergruppen, von der Planungsphase über die Datenerhebung bis hin zur Interpretation der Ergebnisse, geachtet wird. Für eine ganzheitliche Bewertung der Wirksamkeit und Nachhaltigkeit der Initiative sowie zur Validierung ihrer Interventionslogik verfolgt die Evaluation einen Multimethoden-Ansatz, basierend auf einem quantitativen quasi-experimentellen und einem qualitativen Fallstudiendesign. Während das quasi-experimentelle Design auf der Erhebung von Ziel- und Vergleichsgruppendaten von insgesamt ca. 1.000 Personen beruht, umfasst das Fallstudienkonzept Interviews und Fokusgruppendiskussionen mit Schlüsselpersonen aus den Gruppen der Implementierungspartner, Zielgruppen, örtlichen Behörden und Branchenexperten.
Erstellung einer AMPA-Übersicht für 20 multilaterale Organisationen sowie zweier Gesamtübersichten	10/2018	8/2021	Selina Röhrig	Direktion für Entwicklung und Zusammenarbeit (DEZA)
Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Das Annual Multilateral Performance Assessment (AMPA) ist ein Instrument der Direktion für Entwicklung und Zusammenarbeit (DEZA) zur jährlichen Leistungsbeurteilung ihrer prioritären multilateralen Organisationen. Ziel sind möglichst neutrale und unabhängige Bewertungen dieser Organisationen, mit geringem Aufwand von Ressourcen auf Basis von existierenden und zugänglichen Informationen. AMPA basiert auf 1) MOPAN-Berichten (externe Quelle), 2) den CCM Annual Reports (DEZA-Beurteilung) sowie 3) Self-Assessments der multilateralen Organisationen (z.B. Scorecards). Im Rahmen eines beratenden Auswertungsauftrags hat das CEval gemeinsam mit dem Auftraggeber konkrete Maßnahmen zur Optimierung des Performance Assessments erarbeitet.
Externe Evaluation zur klimafreundlichen Gemeinschaftsverpflegung im Rahmen des Projektes MehrWertKonsum der Verbraucherzentrale NRW e.V.	5/2019	6/2021	Dr. Hansjörg Gaus	Verbraucherzentrale Nordrhein-Westfalen e.V. (VZ NRW)
Leiter: Dr. Hansjörg Gaus Mitarbeiter: Fabian Otto Kooperationspartner: schmidt evaluation, EBP Beschreibung Das Projekt „MehrWertKonsum – Mehr Wertschätzung von Lebensmitteln und begrenzten Ressourcen“ der Verbraucherzentrale Nordrhein-Westfalen (VZ NRW) möchte einen verantwortungsvollen, zukunftsfähigen und klimaschonenden Konsum befördern und CO2-Emissionen reduzieren. Das übergeordnete Ziel des Projekts ist es, einen mittelbaren Beitrag zur Einsparung von Treibhausgasemissionen zu leisten. Der Weg zur Reduzierung von Treibhausgasemissionen führt in der Gemeinschaftsverpflegung unter anderem über weniger Speisereste und mehr vegetarische Gerichte mit saisonalen Lebensmitteln aus der Region und aus biologischem Anbau. Für Kitas, Schulen, Jugendherbergen und ihre Verpflegungsanbieter werden Informationen und Bildungsmaterialien verbreitet, Abfallmessungen und Analysen der Teller- und Ausgabereste durchgeführt und Verbesserungsvorschläge erarbeitet. Des Weiteren werden Menü- und Speisepläne geprüft und hinsichtlich der Attraktivität sowie des Klima- und Umweltschutzes optimiert. Schulen können zusätzlich für ihre Schüler(innen) partizipative Bildungsangebote und Aktionen erhalten. In den Jugendherbergen wird ein besonderes Augenmerk auf die Gästekommunikation gelegt, um die Akzeptanz der Maßnahmen zu erhöhen und ebenfalls zur Abfallvermeidung beizutragen. Das Projekt wird aus Mitteln des „Operationellen Programms Nordrhein-Westfalens für die Förderung von Investitionen in Wachstum und Beschäftigung aus dem Europäischen Fonds für regionale Entwicklung“ (EFRE OP NRW) und des Ministeriums für Umwelt, Landwirtschaft, Natur- und Verbraucherschutz Nordrhein-Westfalen (Umweltministerium NRW) finanziert. Im Rahmen der Förderung des EFRE OP NRW muss bei ausgewählten Maßnahmen die Höhe der Treibhausgasreduzierung ermittelt werden (t CO2-Aquivalent/Jahr). Dies betrifft die zu evaluierenden Maßnahmen. Darüber hinaus sollen folgende Ziele des Handlungsfelds „Klimafreundliche Gemeinschaftsverpflegung“ evaluiert werden: • Reduzierung von Lebensmittel- und Speiseabfällen • Etablierung von klimafreundlichen und gesunden Verpflegungsangeboten • Entwicklung eines erhöhten Bewusstseins und erhöhter Wertschätzung für Lebensmittel, klimafreundliche Ernährung und Lebensmittelabfälle Im Rahmen der externen Evaluation des Projekts MehrWertKonsum soll die Wirkung der Maßnahmen sowohl auf Outcome-Ebene (insbesondere verändertes Verhalten bei den Zielgruppen) als auch auf Impact-Ebene (Einsparung von Treibhausgasen) analysiert werden. Das Evaluationsteam aus CEval GmbH, schmidt Evaluation und EBP wendet dazu einen komplexen Multimetmethodenansatz an, bei dem die Ergebnisse aus teilnehmender Beobachtung, telefonischen Leitfadeninterviews und schriftlichen (Online-)Befragungen in einer Weise mit den Inhalten des internen Monitoring des Projekts MehrWertKonsum verknüpft werden, dass im Endeffekt die Berechnung der Einsparung von Treibhausgasen ermöglicht wird.
IKI-Einzelprojektevaluierung	4/2019	4/2021	Dr. Hansjörg Gaus	Bundesministerium für Umwelt, Naturschutz und nukleare Sicherheit (BMU)
Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth, Janis Wicke Beschreibung Die internationale Klimaschutzinitiative (IKI) fördert seit 2008 auf Projektbasis Vorhaben zu (i) Klimaschutz, (ii) Anpassung an den Klimawandel, (iii) Erhalt der Kohlenstoffsenken und (iv) Schutz der Biodiversität in Entwicklungs- und Schwellenländern. Insgesamt beinhaltet die IKI inzwischen knapp 600 Einzelprojekte und ein Fördervolumen von 2,8 Milliarden Euro. Ihr Schwerpunkt liegt dabei auf dem Klimaschutz, welcher knapp die Hälfte der Projekte umfasst. Eine erste Evaluierung, die im Zeitraum von 2010 bis 2013 durchgeführt wurde, umfasste 115 Projekte. Hier wurde eine Vollerhebung der bis 2011 abgeschlossenen oder fast abgeschlossenen Projekte durchgeführt. Dieses aktuelle Vorhaben zielt auf die Durchführung von weiteren Evaluierungen derjenigen Projekte, die bis Ende 2019 abgeschlossen werden. Die einzelnen Projektevaluierungen bestehen aus detaillierten Analysen nach den OECD DAC-Kriterien, sowie weiteren, programmspezifischen Kriterien. Dabei liegt von der Wirkungskette her der Fokus auf einer Analyse der Inputs, Outputs und Outcomes. Wirkungen auf höheren Ebenen werden nur aufgrund der zum Zeitpunkt der Evaluierungen vorliegenden belastbaren Informationen analysiert.
Wirkungsevaluation des WIENCO Ghana Ltd. Vertragsanbau	10/2015	12/2020	Dr. Stefan Silvestrini	Common fund for Commodities
Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth, Dipl.Reg.Wiss. Christina Gollan, Felix Stips Kooperationspartner: German Institute of Global and Area Studies Beschreibung Übergreifendes Ziel der Wirkungsevaluation ist es, die Wirksamkeit zweier vom Africa Agricultural and Trade Investments Fund (AATIF) finanzierten und von WIENCO Ghana gemanagten Vertragsanbauvorhaben in den Bereichen Kakao und Mais zu überprüfen und zu bewerten. Das Hauptinteresse der Evaluation liegt dabei insbesondere in der Bestimmung eines kausalen Zusammenhangs zwischen der Teilnahme an den Vorhaben von WIENCO und den folgenden Merkmalen: Produktivitätsniveau Beschäftigungsmöglichkeiten Betriebs- und Haushaltseinkommen Lebens- und Arbeitsbedingungen Risikoaussetzung des Haushaltseinkommen Eingesetzte Risikobewältigungs- und Managementstrategien der Haushalte und Betriebe Die gewonnenen Erkenntnisse sollen dazu dienen, einen Nachweis über die Effektivität der Vertragsanbauvorhaben und damit der finanziellen Unterstützung durch den AATIF zu erbringen. Darüber hinaus soll für WIENCO ein einfaches Datenerhebungsinstrument für ein kontinuierliches Monitoring seiner Vorhaben entwickelt werden. Die in Zusammenarbeit mit dem German Institute for Global and Area Studies (GIGA) und weiteren ghanaischen Partnern durchgeführte methodisch anspruchsvolle Wirkungsevaluation läuft über fünf Jahre, beginnend mit einer Baseline-Erhebung Anfang 2016. Zur Generierung einer möglichst validen Datenbasis wird dabei im Rahmen eines Multi-Methoden-Ansatzes quantitative Haushaltsbefragungen mit einer tiefgehenden qualitativen Kontextanalyse mittels Fokusgruppen- und Experteninterviews kombiniert.
Begleitende Evaluation des Karriereförderprogramms "Talente sichern - Zukunft gestalten" (2019/2020)	4/2019	12/2020	Dr. Vera Hennefeld	Cusanuswerk - Bischöfliche Studienförderung
Leiter: Dr. Vera Hennefeld Beschreibung Das Programm "Talente sichern - Zukunft gestalten" des Cusanuswerks - Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im siebten Programmdurchlauf 2019/2020 findet eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten.
Hochschulkooperation mit der Universität von Costa Rica (UCR) und der Päpstlichen Katholischen Universität von Ecuador (PUCE) gefördert durch das DAAD-Programm "Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern"	7/2017	12/2020	Laszlo Szentmarjay	Deutscher Akademischer Austauschdienst (DAAD)
Leiter: Prof. Dr. Reinhard Stockmann Beschreibung Die Universität des Saarlandes (UdS) und die Universität von Costa Rica (UCR) pflegen seit 2008 eine intensive Zusammenarbeit, welche zwischen 2012 und 2015 durch das DAAD Programm "Fachbezogene Partnerschaften mit Hochschulen und Entwicklungsländern" unterstütz wurde. Durch das DAAD-Beraterprogramm war bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt worden. Vor dem Hintergrund eines stetig steigenden Bedarfs an Evaluationen und Evaluationskompetenzen sind beide Partner bestrebt die Zusammenarbeit im Rahmen des DAAD-Programms weiterzuführen und durch die Einbindung einer weiteren Partnerschule nachhaltig auszuweiten. Hierfür konnte die Päpstliche Katholische Universität von Ecuador (PUCE) gewonnen werden. Kernstücke dieser dritten Phase der Kooperation sollen die Einführung eines neuen Blended Learning Masterstudiengangs in Evaluation an der PUCE bzw. eines Blended Learning Weiterbildungsangebotes am Centrum für Forschung und Weiterbildung in Öffentlicher Verwaltung (CICAP) der UCR sowie die Qualitätssicherung der Aus- und Weiterbildung in Evaluation in Costa Rica, Ecuador und Lateinamerika sein (Verbesserung der Aus- und Weiterbildung sowie der Forschung in Evaluation). Zudem stehen der Aufbeau eines lateinamerikanischen Hochschulnetzwerkes im Fachbereich Evaluation (Netzwerkbildung und Internationalisierung), die Stärkung des Praxisbezugs der akademischen Evaluationsausbildung sowie der Beitrag zu evidenzbasiertet Politikgestaltung (Anwendung wissenschaftlicher Evaluationsforschung in der politischen Praxis) und schließlich die Vertiefung und institutionelle Erweiterung der Zusammenareit zwischen den beteiligten Universitäten sowie dem Forschungsinstitut CICAP (Dreiecks- und Süd-Süd-Kooperation) auf dem Programm der auf vier Jahre angelegten Partnerschaft.
Monitoring & Evaluation of slum rehabilitation project in Brazil	11/2017	11/2020	Dr. Stefan Silvestrini	Knorr-Bremse Global Care e.V.
Leiter: Dr. Stefan Silvestrini Mitarbeiter: Teresa Böttcher Beschreibung Knorr-Bremse Global Care e.V. (KBGC) unterstützt zusammen mit einem lokalen Partner ein Trainings- und Rehabilitationsprojekt in Grajaú, einem Slum Gebiet in Sao Paolo. Das Projekt strebt eine Verbesserung von Lebensbedingungen der Slumbevölkerung an, in dem, zum einen, Trainingsmaßnahmen im Bereich des Zivilen Bauens für junge Erwachsene angeboten werden und, zum anderen, die ausgebildeten Jugendlichen zusammen mit der Slumbevölkerung und dem lokalen Partner nachhaltige und adäquate Wohnhäuser errichten. CEval unterstützt KBGC beim Aufbau eines Monitorings- & Evaluationssystems, das Fortschritte gegenüber der Projektziele und Wirkungen des Projekts über eine Laufzeit von drei Jahren misst. Um kurz-, mittel- und langfristige Wirkungen zu erfassen, wird dabei eine Zeitreihenanalyse eingesetzt, die sich auf mehrere Datensammlungen durch Fragebögen stützt. Alle sechs Monaten werden die Teilnehmer des Trainingprogramms befragt, deren Daten analysiert und aufbereitet, und in Kurzberichten Erkenntnisse des Programfortschritts an KBGC und deren Partner kommuniziert.
Evaluation des Projekts Media in Libya: Stability through reconciliation	1/2018	8/2020	Dr. Vera Hennefeld	DW Akademie
Leiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge Beschreibung Evaluationsgegenstand ist das Projekt „Media in Libya: Stability through reconciliation“ (MLSR) der DW Akademie. MLSR ist ein Nachfolgeprojekt von „Media in Libya: Stability through Structure“. Das übergeordnete Ziel von MLSR lautet:“Enabling a process of public discourse and eventually reconciliation across a fragmented Libyan society – prerequisites for development of democratic reform and constitutional process in the country.” by “promoting [the] right to access to information to the people of Libya and [the] freedom of expression in Libya”. Zum Erreichen dieser Zielsetzung setzt die DW Akademie auf vier Aktivitäten-Cluster: (1) Unterstützung (öffentlicher) Institutionen in Libyen im Bereich „media governance“, (2) Entwicklung eines Mediennetzwerks in Libyen, (3) Training freier Journalisten aus allen Regionen Libyens mit einem besonderen Fokus auf ethnische Minderheiten und Geschlechterfragen, (4) Bereitstellung von Fördermöglichkeiten für Libysche Medienprojekte. Die Evaluation von MLSR ist als Wirkungsevaluation angelegt. Es ist daher erforderlich, Daten zum Zeitpunkt des Maßnahmenbeginns (Baseline) zu erheben, eine Zwischenevaluation erfolgt in der ersten Jahreshälfte 2019. Durch Vergleich der Befunde aus Baselinestudie und Zwischenevaluation können bereits erste Effekte von MLSR identifiziert und bewertet werden. Darüber hinaus können erste Empfehlungen zur Projektoptimierung (z. B. Identifikation [weniger] erfolgreicher Projektstrategien, alternative Vorgehensweisen) gegeben werden. Die dritte Evaluationsphase (Schlussevaluation) startet zum Projektende. Hauptziel der Schlussevaluation ist die Bewertung der Zielerreichung von MLSR. Durch die drei Erhebungszeitpunkte kann eine längsschnittliche Analyse der Mechanismen, Prozesse und Effekte von MLSR realisiert werden. Methodisch wird vor dem Hintergrund der sehr volatilen und schwierigen Rahmenbedingungen in Libyen ein robuster Mixed-Method-Ansatz verfolgt: Sekundäranalyse vorhandener Dokumente/Daten, Inhaltsanalyse kurzer schriftlicher und tiefgehender mündlicher Befragungen sowie statistische Analyse quantitativer Daten aus einer standardisierten Fragebogenerhebung.
Entwicklung und Implementation eines M&E-Systems für das Projekt "EinTanzHaus"	12/2017	8/2020	Dr. Vera Hennefeld	Kulturamt der Stadt Mannheim
Leiter: Dr. Vera Hennefeld Beschreibung Mit dem EinTanzHaus soll in Mannheim ein Zentrum für zeitgenössischen Tanz in einem Kulturdenkmal von besonderer Bedeutung geschaffen werden.Der Gründer des La_Trottier Dance Collectives Eric Trottier und die Gestalterin und Künstlerin Daria Holme haben gemeinsam durch den beispielhaften Umbau des denkmalgeschützten Sakralbaus die Voraussetzungen geschaffen, in Süddeutschland ein Tanzzentrum zu entwickeln, das durch seine Infrastruktur, seine Bühnengröße, seinen zentralen Standort in der Innenstadt und die künstlerische Erfahrung der Akteure für den Tanz in Deutschland neue Perspektiven eröffnen kann. Aufgabe der CEval GmbH ist es, ein M&E-Konzept zu entwickeln und umzusetzen, das der Projektsteuerung sowie der regelmäßigen Überprüfung der Zielerreichung und der Wirkungserfassung dient. Hierzu werden in einem ersten Schritt gemeinsam mit den Beteiligten eine Zielhierarchie und wertbestückte Indikatoren für das EinTanzHaus sowie ein Datenerhebungsplan entwickelt. Die CEval GmbH ist in alle Schritte der Datenerhebung, -auswertung und -interpretation eingebunden und unterstützt so die Beteiligten in der strategischen Steuerung des Projektes.
Evaluation der Deutschen Strategie zur Anpassung an den Klimawandel	7/2017	6/2020	Dr. Stefan Silvestrini	Umweltbundesamt (UBA)
Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Hansjörg Gaus, Selina Röhrig, M.A. Sandra Bäthge Kooperationspartner: adelphi Beschreibung Die Deutsche Strategie zur Anpassung an den Klimawandel (DAS) und der dazugehörige Aktionsplan Anpassung sind die Hauptpfeiler der deutschen Anpassungspolitik. Langfristig verfolgt die Bundesregierung das Ziel, die Verwundbarkeit von Wirtschaft, Umwelt und Gesellschaft gegenüber den Folgen des Klimawandels zu reduzieren. Um dies zu erreichen, wurde in den vergangenen Jahren bereits eine Vielzahl konkreter Maßnahmen auf unterschiedlichen Ebenen umgesetzt. Für die Fortführung einer erfolgreichen Anpassung an den Klimawandel und für die Weiterentwicklung der Strategie ist es wichtig, den bisherigen Prozess kritisch zu reflektieren sowie erzielte Erfolgte und mögliche Versäumnisse aufzuzeigen. Übergreifendes Ziel der vom Umweltbundesamt (UBA) beauftragten Evaluation ist es, herauszufinden, ob die DAS einen erfolgreichen strategischen Ansatz darstellt, um die Anpassungsfähigkeit natürlicher, gesellschaftlicher und ökonomischer Systeme an die Auswirkungen des Klimawandels zu steigern bzw. deren Vulnerabilität zu senken. Die Evaluation umfasst dabei drei zentrale Teile: Zunächst wird in einer Prozessevaluation der DAS-Prozess auf strategischer Ebene betrachet, eine Umsetzungsevaluation analysiert den Umsetzungsstand der Anpassungsmaßnahmen auf Bundeseben und eine Wirkungsevaluation befasst sich mit der Wirkung der DAS auf die Vulnerabilität und Anpassungkapazität natürlicher, gesellschaftlicher und ökonomischer Systeme. Gemeinsam mit adelphi führt das Centrum für Evaluaion (CEval) die Evaluation im Auftrag der UBA durch. Dabei greift das Konsortium auf die in einem Vorgängervorhaben entwickelte und politisch bereits abgestimmte Methodik zurück. Entlang zentraler Evaluationsfragen und unter Berücksichtigung eines Wirkungsmodells werden zunächst mit verschiedenen Methoden (Interviews, Dokumentenanalysen etc.) Daten erhoben. Anhand definierter Evaluationskriterien erfolgt anschließend eine umfassende Analyse und Auswertung der Daten. Die daraus resultierenden Ergebnisse und Empfehlungen werden in einem Delphi-Verfahren reflektiert und weiter verdichtet.
Rahmenvertrag für die Entwicklung und Implementierung wirkungsorientierter Monitoringsysteme von DAAD-Programmen	6/2016	5/2020	Dr. Vera Hennefeld	Deutscher Akademischer Austauschdienst (DAAD)
Leiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge Beschreibung Projektziel ist es, den DAAD in die Lage zu versetzen, dem steigenden Anspruch an Wirkungsorientierung und kontrolle in seinen Förderbereichen noch besser gerecht zu werden. Damit möchte sich der DAAD noch stärker an konkreten Entwicklungsergebnissen orientieren und eine noch stärkere Anpassung an den Bedarf seiner Partner sichern (managing for results). Als Mittlerorganisation ist der DAAD auf eine wirkungsorientierte Planung, Steuerung und Berichterstattung der Hochschulen als Projektnehmer angewiesen. Die einzuführenden Monitoringsysteme sollen dazu beitragen, die Qualität von Informationen über Programmaktivitäten zu steigern, sowohl im Rahmen der Rechenschaftslegung durch die Fördernehmer als auch im Dialog zwischen den Beteiligten (Förderorganisationen, DAAD, Hochschulen). Dadurch können gemeinsames Lernen und die strategische Weiterentwicklung der Förderprogramme des DAAD befördert werden. Die Aktivitäten des CEval bei diesem Vorhaben lassen sich folgenden Bereichen zuordnen: Entwicklung programmspezifischer Wirkungsgefüge und Indikatorenkataloge sowohl für bestehende als auch zukünftige Fördervorhaben; Anpassung bestehender Monitoringprozesse, -verfahren und -instrumente zur Projektplanung, Steuerung und Berichterstattung im Rahmen der Förderprogramme und Ausarbeitung programmspezifischer Monitoring- und Umsetzungskonzepte. Zudem schult das CEval Mitarbeiterinnen und Mitarbeiter des DAAD sowie der Hochschulen im Bereich der wirkungsorientierten Planung und des Monitorings (capacity building).
Pilotprojekt zur gemeinsamen Spieltagsnachbereitung im Profifußball	1/2019	5/2020	Dr. Vera Hennefeld	Deutscher Fußball-Bund e.V.
Leiter: Dr. Vera Hennefeld Mitarbeiter: Fabian Otto Beschreibung Die Daniel Nivel Stiftung verfolgt das Ziel, das Verhältnis zwischen Fußballfans und Polizei zu verbessern. Die Stiftung kooperiert zur Erreichung dieses Ziels mit nationalen Fußballverbänden und hat 2018 die finanziellen Mittel für zwei Pilotprojekte freigegeben, eines mit dem französischen Fußballverband (FFF) und eines mit dem Deutschen Fußball-Bund (DFB). Auf deutscher Seite wurde in sog. Zukunftswerkstätten die Idee entwickelt, eine gemeinsame Spieltagsnachbereitung zu etablieren, in deren Rahmen ein Dialog zwischen Fußballfans und Polizei geschaffen wird. So sollen Konflikte nach Spieltagen aufgearbeitet und Lösungsvorschläge für zukünftige Ereignisse entwickelt werden. Der DFB hat die CEval GmbH mit der wissenschaftlichen Begleitung dieses Projektes beauftragt. Die Aufgaben der CEval GmbH reichen von der Konzeption des Projektes (Ablauf der Nachbereitung, Auswahl von Pilotstandorten, etc.) über die Entwicklung geeigneter Instrumente zur Fanbefragung und Formate zur Spieltagsnachbereitung bis zur Unterstützung der Akteure bei der praktischen Durchführung und Moderation der Nachbereitung. Dabei werden unterschiedliche Abläufe und Formate zur Spieltagsnachbereitung getestet, um im Anschluss an die Pilotphase ein anwendungsfähiges Konzept vorlegen zu können. Alle Arbeitsschritte erfolgen in enger Zusammenarbeit mit dem Projektteam des DFB. Auch mit der Koordinationsstelle Fanprojekte (KOS) und der Deutschen Fußball Liga (DFL) gibt es einen regelmäßigen, projektbezogenen Austausch. Die Projektlaufzeit ist von Januar 2019 bis Mai 2020 angesetzt. In der ersten Jahreshälfte 2019 erfolgt die detaillierte Projektkonzeption und -ausarbeitung inkl. Arbeitstreffen und Workshops mit allen beteiligten Akteuren. In der zweiten Jahreshälfte, während der Hinrunde der Saison 2019/2020, wird das entwickelte Konzept zur Spieltagsnachbereitung in Zusammenarbeit mit ausgewählten Pilotstandorten aus dem Profifußball durchgeführt und getestet. Zentrale Partner sind dabei die Fanprojekte der entsprechenden Standorte. Im Anschluss folgen eine Bewertung und ggf. Anpassung des Konzepts zur Spieltagsnachbereitung sowie die Dokumentation des Projektes in Form eines Abschlussberichtes.
Evaluation der im Jahr 2019 geförderten Flüchtlingsprojekte der Beauftragten der Bundesregierung für Migration, Flüchtlinge und Integration	4/2019	3/2020	Dr. Vera Hennefeld	Beauftragte der Bundesregierung für Migration, Flüchtlinge und Integration
Leiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge, M.A. Niklas Zierke, Janis Wicke Beschreibung Im Jahr 2019 fördert die Beauftragte der Bundesregierung für Migration, Flüchtlinge und Integration 25 Flüchtlingsprojekte in den Förderbereichen Stärkung des Ehrenamtes, Empowerment und Gewaltprävention sowie politische und gesellschaftliche Teilhabe. Ziel der Förderung ist es, zu einer verbesserten gesellschaftlichen Integration und Teilhabe von Geflüchteten in Deutschland beizutragen. Ziel der Evaluation ist es, die Zielerreichung, Wirksamkeit und Wirtschaftlichkeit der geförderten Projekte zu beurteilen und Empfehlungen für zukünftige Förderungen abzuleiten. Gleichzeitig sollen die geförderten Projekte beim Aufbau und der Umsetzung eines wirkungsorientierten Monitorings ihrer Projekte unterstützt werden. Die Evaluation ist als begleitende Evaluation mit formativen und summativen Elementen angelegt und beinhaltet eine Capacity Building Komponente im Bereich des wirkungsorientierten Monitorings. In methodischer Hinsicht wird ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Unter anderem ist die Durchführung eines Dokumentenstudiums, von Leitfadeninterviews, Fokusgruppendiskussionen sowie einer Online-Befragung vorgesehen.
Evaluation der "strategischen Kommunikation zu Flucht und Migration im Ausland" des Auswärtigen Amts	8/2019	3/2020	Dr. Vera Hennefeld	Auswärtiges Amt (AA)
Leiter: Dr. Vera Hennefeld Mitarbeiter: Felix Stips, M.A. Niklas Zierke Beschreibung Im Jahr 2016 initiierte das Auswärtige Amt (AA) eine neue Kommunikationsstrategie zu Flucht und Migration im Ausland. Diese setzt sich einerseits aus direkten Kommunikationsmaßnahmen wie einer eigenen Webseite und Informationen auf Social-Media-Kanälen zusammen und andererseits aus indirekter Kommunikationsarbeit durch Projektförderung von Partnerorganisationen. Ziel dieser Bemühungen ist es, zu einer besseren Informationsbasis zu Flucht und Migration im Ausland beizutragen und dabei humanitäre und völkerrechtliche Prinzipien zu stärken. Ziel der Evaluation ist es, die Zielerreichung, Wirksamkeit, Wirtschaftlichkeit und Nachhaltigkeit sowie die Impacts der geförderten Projekte und der direkten Kommunikationsangebote des AA zu bewerten und davon ausgehend Empfehlungen für zukünftige Förderungen und Strategieentwicklungen abzuleiten. Gleichzeitig sollen die geförderten Projekte beim Aufbau und der Umsetzung eines wirkungsorientierten Monitorings ihrer Projekte unterstützt werden. Die Evaluation enthält summative und formative Elemente. Damit soll die Evaluation einerseits das AA-interne Lernen im Bereich der Kommunikationsstrategie unterstützen und andererseits einer transparenten Rechenschaftslegung dienen. In methodischer Hinsicht wird ein umfangreicher Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Dieser erstreckt sich von Dokumentenanalysen über verschiedene Formen der sowohl qualitativen als auch quantitativen Befragung wie Fokusgruppen- als auch Leitfadeninterviews bis hin zu teilnehmenden Beobachtungen. Ergänzt wird dies durch ein experimentelles Erhebungsdesign unter Einsatz eines Online-Erhebungsinstruments, das Einblick in die Wirkungszusammenhänge der strategischen Kommunikation des AA geben soll.
Rapid Appraisals für zwei Moringa-Investitionen	10/2019	3/2020	Dr. Stefan Silvestrini	Agroforestry Technical Assistance Facility (ATAF)
Leiter: Dr. Stefan Silvestrini Mitarbeiter: Teresa Böttcher Beschreibung Moringa SCA SICAR ist ein Private-Equity-Fonds, der gegründet wurde als Reaktion auf das wachsende Interesse des Finanz- und Entwicklungssektors an Investitionen, die gleichzeitig eine finanzielle, ökologische und soziale Rendite bieten. Moringa konzentriert sich auf Investitionen in die Agroforstwirtschaft in afrikanischen und lateinamerikanischen Entwicklungs- und am wenigsten entwickelten Ländern. Moringa implementiert agroforstwirtschaftliche Landnutzungssysteme auf kommerzieller Basis mit einem kommerziellen Investitionsansatz, wobei eine große Anzahl benachbarter Kleinbauern und Verarbeiter durch vertragliche Vereinbarungen in das Geschäftsmodell integriert werden. Die Agroforstwirtschaftliche Technische Unterstützungsfazilität (ATAF) wurde von Moringa Partnership eingerichtet, um technische Unterstützung für Investitionen des Fonds zu leisten, mit dem Ziel, die positiven ökologischen und sozialen Auswirkungen, die durch Moringa-Investitionen ausgelöst werden, zu verstärken. Die CEval GmbH wurde beauftragt, Baseline Rapid Appraisals für zwei Moringa Investments durchzuführen. Dabei liegt der Fokus auf der Lebenssituation der Landwirte und anderer relevanter Zielgruppen, wie z.B. Fabrikarbeiter. Methodisch folgen die Rapid Appraisals einem Mixed-Methods-Ansatz, welcher eine kleine Umfrage bei den Landwirten für jedes Rapid Appraisal sowie Interviews mit den relevanten Stakeholdergruppen beinhaltet. Die Rapid Appraisals werden für Moringa-Investitionen in Benin und Togo durchgeführt.
Evaluation des arbeitsweltbezogenen Demografie-Monitorings demowanda: Bedarfsorientiertes Coaching zur Durchführung einer Selbstevaluation	9/2017	12/2019	Dr. Vera Hennefeld	Bundesanstalt für Arbeitsschutz und Arbeitsmedizin (BAuA)
Leiter: Dr. Vera Hennefeld Beschreibung "Die Bundesanstalt (BAuA) für Arbeitsschutz und Arbeitsmedizin erforscht die Bedingungen und die Entwicklungen innerhalb der Erwerbsarbeit, um Arbeitnehmerinnen und Arbeitnehmer heute und in Zukunft bestmöglich zu schützen und zu fördern" (s. BAuA-Website). Unter anderem leitet die BAuA das Projekt Demografischer Wandel in der Arbeitswelt (demowanda). demowanda ist ein Demografie-Monitoringsystem, dessen Entwicklung vom Bundesministerium für Arbeit und Soziales beauftragt wurde. Die BAua möchte eine Selbstevaluation von demowanda - das Kollaborationsprojekt mit BiB, BIBB, DZA, IAB, RKI - durchführen. Gegenstand dieser Selbstevaluation durch die BAuA sind Projektergebnis und Projektverlauf. Die Projektpartner möchten (a) das Monitoringsystem in Form des Internetportals www.demowanda.de und (b) den Projektprozess von Auftragsvergabe bis hin zur Umsetzung evaluieren. Um diese Selbstevaluation erfolgreich umzusetzen, hat die BAuA die CEval GmbH mit deren Begleitung beauftragt. Im Rahmen der Evaluationsbegleitung werden bedarfsorientierte Coachings/Trainings der beteiligten Mitarbeiterinnen und Mitarbeiter durchgeführt. Bedarfsorientiertes Coaching/Training ermöglicht es den Mitarbeiterinnen und Mitarbeitern, gezielt etwaige Wissenslücken zu schließen und vorhandene Kenntnisse zu erweitern. Zugleich wird so die konzeptionelle und methodische Qualität der Selbstevaluation gesichert. Das bedarfsorientierte Coaching beinhaltet (a) telefonische Vor-Ort-Beratung, (b) in house-Schulungen/-Workshops sowie (c) Unterstützung bei der Erstellung evaluationsrelevanter Unterlagen/Dokumente und deren Qualitätssicherung.
Datenerhebung zur Vergabe des Qualitätssiegels "Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit"	10/2017	12/2019	Dr. Vera Hennefeld	Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS)
Leiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge Beschreibung In Deutschland existiert ein dichtes Netzwerk von Einrichtungen der sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit (NKSS) arbeiten. Das "Qualitätssiegel nach dem Nationalen Konzept Sport und Sicherheit" wurde im Jahr 2010 mit dem Ziel eingeführt, diesen sozialpädagogisch arbeitenden Fußballfanprojekten in Deutschland ein Instrument der Qualitätssicherung an die Hand zu geben, um gemeinsame Standards und mehr Handlungssicherheit herbeizuführen und die strukturellen Rahmenbedingungen der sozialpädagogisch arbeitenden Fußballfanprojekte verbessern. Das Qualitätssiegel wird vergeben von der AG Qualitätssicherung, welche durch die Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS) organisiert wird. In der AG Qualitätssicherung sind Akteure aus dem Fußball, den obersten Landes- und Familienbehörden, der Wissenschaft und der Fanprojekte selbst vertreten. Im abgeschlossenen ersten Teilprojekt (5/2015-06/2016) wurde (a) das Qualitätssiegel von der CEval GmbH überarbeitet, (b) modellhaft mit fünf Fanprojekten getestet und so (c) ein standardisiertes, praxistauglisches Konzept zur Erhebung der erforderlichen Informationen entwickelt. Das Qualitätssiegel ist damit heute ein valides Zeichen für die hohe Qualität der Arbeit von Fanprojekten. Weitere Informationen finden sich hier. Im laufenden zweiten Teilprojekt unterstützt die CEval GmbH die bundesweite Ausrollung des überarbeiteten Qualitätssiegels durch die Erhebung der für die Vergabe notwendigen Informationen in allen Fanprojekten Deutschlands.
Evaluation des Projektes "Digital Leadership" der Führungsakademie Baden-Württemberg	12/2018	12/2019	Dr. Vera Hennefeld	Führungsakademie Baden-Württemberg
Leiter: Dr. Vera Hennefeld Mitarbeiter: Fabian Otto Beschreibung Seit März 2018 bietet die Führungsakademie Baden-Württemberg (FüAK) das Programm „Digital Leadership“ an. Das Programm umfasst unterschiedliche Fortbildungsformate zur Förderung „digitaler Kompetenzen“ von Führungskräften der Verwaltungen des Landes Baden-Württemberg. Ziel ist es, diese Führungskräfte auf die Anforderungen des Digitalen Wandels vorzubereiten, sie miteinander zu vernetzen und mit entsprechend erforderlichen Kompetenzen auszustatten, damit sie in ihren Institutionen den digitalen Wandel vorantreiben und gestalten können. Zu den Formaten des Programms zählen fachliche Fortbildungen (z.B. Programmieren, Design Thinking), Netzwerkveranstaltungen, Learning Journeys zu innovativen Unternehmen und themenspezifische Fokusgruppen. Gegenstand der Evaluation sind die unterschiedlichen Fortbildungsformate des Programms. Diese sollen hinsichtlich ihrer Wirkungen evaluierten werden. Der Fokus liegt dabei auf der Outcome-Ebene, also auf den kurz- und mittelfristigen Wirkungen der verschiedenen Veranstaltungen. Dazu wird im Sinne des partizipativen Evaluationsansatzes der CEval GmbH gemeinsam mit dem Projektteam eine Wirkungslogik erarbeitet. Die Wirkungen werden im Rahmen der Evaluation mithilfe eines Multimethodenansatzes überprüft. Zum einen werden Teilnehmerfragebögen entwickelt und zu zwei Zeitpunkten, am Veranstaltungsende und nach einer definierten Wirkungsphase, eingesetzt. Zum anderen werden Interviews mit unterschiedlichen Stakeholdergruppen geführt, um so tiefergehende Einschätzungen zu relevanten Aspekten des Programms zu erhalten. Auf diese Weise können die Vorteile beider Datenerhebungsmethoden kombiniert und zur Bewertung der Fortbildungsformate genutzt werden.
Sektor-Evaluierung der Klimaprojekte im Rahmen der BMZ-Sonderinitiative Klima der Hanns-Seidel-Stiftung e.V. 2019	8/2019	12/2019	Dr. Stefan Silvestrini	Hanns-Seidel-Stiftung (HSS)
Leiter: Dr. Stefan Silvestrini Mitarbeiter: Laszlo Szentmarjay, Teresa Böttcher Beschreibung Die Hanns-Seidel-Stiftung (HSS) bezieht seit 2011 Mittel aus der Sonderinitiative Klima des BMZ und führt seitdem Projektmaßnahmen in zahlreichen Ländern im Bereich Klima, Umwelt und Energie durch. Mit den Maßnahmen in dem Bereich soll ein Beitrag zum Umwelt- und Naturschutz insgesamt geleistet werden sowie zur Bekämpfung des und Anpassung an den Klimawandel, zur nachhaltigen Energieversorgung und Ressourceneffizienz sowie zur nachhaltigen und umweltbewussten Land- und Forstwirtschaft. Formativ wurde aus dem Kontext der aktuellen Auslandsarbeit der Hanns-Seidel-Stiftung in den Themenbereichen Klima-Umwelt-Energie (KUE) und deren internationalen Lösungsversuchen, eine grundlegende Strategie erarbeitet. Diese wird am Beispiel von drei Projekten in den Ländern Indien, Bolivien und Namibia von der CEval GmbH evaluiert. Methodisch gesehen beinhaltet die Evaluation einen theoriebasierten Anteil, welcher in der Rekonstruktion der Theories of Change (ToC) der drei Projekte besteht. Außerdem werden die drei ausgewählten Projekte auf Projektebene evaluiert, wofür Feldphasen in allen drei Ländern durchgeführt wurden und Interviews mit Partnern und Zielgruppen geführt wurden. Zudem beinhaltet die Evaluation einen Syntheseteil, welcher sich auf die Klimastrategie der Hanns-Seidel-Stiftung allgemein bezieht und in welchem die Ergebnisse aus den Evaluationen der drei Projekte gebündelt und mit Informationen aus der Zentrale der HSS in München ergänzt werden.
Wissenschaftliche Begleitung einer Wirkungsanalyse des Projektes „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“	6/2018	8/2019	Dr. Vera Hennefeld	Landesbund für Vogelschutz in Bayern (LBV) e.V.
Leiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge, Janis Wicke Beschreibung Der Landesbund für Vogelschutz in Bayern e.V. (LBV) führt im Schuljahr 2018/19 zum zweiten Mal das Projekt „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“ durch. Es zielt darauf ab, zu einer Mobilisierung der Jugend für Nachhaltigkeitsfragen beizutragen. Genauer richtet sich das Projekt dezidiert an Schülerinnen und Schüler bayerischer beruflicher Schulen. Mit dem Projekt soll ihre Aufmerksamkeit in dieser wichtigen Lebensphase der beruflichen Orientierung auf Nachhaltigkeitsthemen gelenkt und ihr Bewusstsein für entsprechende Themen gestärkt werden. Hierzu setzen die Schülerinnen und Schüler eigenverantwortlich Projektideen für einen nachhaltigeren Schulalltag an ihren Schulen um. Das Projekt wird einer Wirkungsanalyse unterzogen, welche im Rahmen einer begleitenden Evaluation gemeinsam von LBV und CEval GmbH durchgeführt wird. Ziel ist es zu ermitteln, ob die durch das Projekt angestrebten Wirkungen tatsächlich eintreten, ob sich also die Nachhaltigkeitseinstellungen und das -verhalten der teilnehmenden Schülerinnen und Schüler verändern und ob es gelingt, das Thema Nachhaltigkeit noch besser an bayrischen beruflichen Schulen zu verankern. In methodischer Hinsicht wird eine standardisierte Vorher-Nachher-Befragung der am Projekt teilnehmenden Schülerinnen und Schüler (Interventionsgruppe) sowie einer Vergleichsgruppe durchgeführt. Zusätzlich werden vor und nach dem Projekt leitfadengestützte Interviews mit dem die Projekte betreuenden Lehrpersonal geführt.
Evaluation des Programms "DLR-DAAD Research Fellowships"	12/2018	7/2019	Dr. Vera Hennefeld	Deutscher Akademischer Austauschdienst (DAAD)
Leiter: Dr. Vera Hennefeld Mitarbeiter: M.A. Sandra Bäthge Beschreibung Das Deutsche Zentrum für Luft- und Raumfahrt (DLR) setzt seit 2008 gemeinsam mit dem DAAD ein Stipendienprogramm in den Fachbereichen Energie, Luft- und Raumfahrt und Transport um. Es zielt darauf ab, einen Beitrag zur stärkeren Internationalisierung der DLR-Institute zu leisten sowie künftige Forscherpersönlichkeiten zu entwickeln, die Deutschland als Partner und Freunde verbunden sind. Ziel der Evaluation des Programms ist es einerseits, im Sinne einer Bilanzierung die bisherigen mittel- bis langfristigen Wirkungen des Programms zu bewerten. Andererseits soll die Evaluation mit Blick auf eine mögliche Fortführung des Programms eventuelle Optimierungspotenziale aufdecken und Vorschläge zu damit verbundenen Veränderungen entwickeln. In methodischer Hinsicht wird die Evaluation einen Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden zu Grunde legen. Unter anderem ist die Durchführung von Leitfadeninterviews, Fokusgruppen, Standortbegehungen sowie einer Online-Befragung vorgesehen.
Meta-Evaluation von ADA Projekt- und Programmevaluationen 2016-2018	8/2018	12/2018	Dr. Stefan Silvestrini	Austrian Development Agency (ADA)
Leiter: Dr. Stefan Silvestrini Mitarbeiter: M.A. Sandra Bäthge, Teresa Böttcher Beschreibung Gegenstand der Meta-Evaluation sind ADA-Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit, welche zwischen 2016 und 2018 durchgeführt wurden. Ziel ist es, die Qualität und Nützlichkeit der (internen und externen) Evaluationen zu bewerten und daraus Empfehlungen zur Verbesserung des ADA-Instrumentariums für das Design und die Durchführung zukünftiger Evaluationen abzuleiten. Im Zentrum der Meta-Evaluation steht dabei eine Dokumentenanalyse, mittels derer auf Grundlage eines detaillierten Analyseprotokolls die Qualität der Evaluationsberichte bewertet wird. Durch den Einsatz eines solchen Protokolls, das alle relevanten Analysedimensionen, Indikatoren und Skalendefinitionen beinhaltet, wird sichergestellt, dass die Bewertungsergebnisse verlässlich und nachvollziehbar sind. Zur Bewertung der Nützlichkeit und Nutzung der Evaluationen, werden deren Nutzer/innen (z.B. Programmverantwortliche) im Rahmen von leitfadengestützten Einzel- und Gruppeninterviews sowie – zur Gewährleistung einer größtmöglichen Repräsentativität der Untersuchungsergebnisse – einer teilstandardisierten Online-Erhebung befragt.
Integration des Programms „Servicestelle Kommunen in der Einen Welt“ (SKEW) in das M&E-System von Engagement Global	9/2018	12/2018	Dr. Stefan Silvestrini	Engagement Global Service für Entwicklungsinitiativen gGmbH
Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Cornelia Römling Beschreibung Anfang 2012 wurde mit Engagement Global gGmbH auf Bundesebene eine zentrale Einrichtung zur Förderung und Koordination des entwicklungspolitischen Engagements zivilgesellschaftlicher, kommunaler und privatwirtschaftlicher Akteure sowie zur entwicklungspolitischen Informations- und Bildungsarbeit geschaffen. Die SKEW – ein Programm von Engagement Global – fokussiert sich insbesondere auf die Förderung von kommunaler Entwicklungszusammenarbeit. Um sowohl die zweckgemäße Verwendung dieser Mittel, als auch vor allem die Wirksamkeit ihres Einsatzes belegen zu können, hat Engagement Global für alle Fachbereiche und Programme die Grundlagen zur technischen Implementierung eines umfassenden Monitoring- und Evaluations- (M&E) System geschaffen. Da die SKEW in der damaligen Entwicklung des Monitoringsystems ausgenommen wurde, wurden das CEval und ISPO nun damit beauftragt die Einbindung der SKEW in das organisationsweite Monitoringsystem vorzunehmen. Wie bei der Konzeption des hausweiten M&E-Systems werden zuerst die Wirkungsmodelle und Indikatoren überprüft oder entwickelt. Die Zielsetzungen und Indikatoren werden daraufhin in die strategischen Richtungsaussagen von Engagement Global integriert. Um die Erstellung eines Monitoringsystems für die SKEW zu vervollständigen, wird zudem im nächsten Schritt ein Datenerhebungsplan erstellt und die zugehörigen Datenerhebungsinstrumente werden (weiter-) entwickelt.
Evaluation eines Capacity Development Projekts zur Verbesserung von Kinderschutzsystemen in Äthiopien und Indien	8/2018	12/2018	Dr. Susanne Johanna Väth	Kindernothilfe e.V.
Leiter: Dr. Susanne Johanna Väth Mitarbeiter: M.A. Tatjana Mauthofer Beschreibung Weltweit sind Kinder in ihrem täglichen Leben zahlreichen Risikofaktoren ausgesetzt. In Anbetracht der Komplexität der Ursachen dafür, haben sich funktionierende Kinderschutzsysteme als wirksam erwiesen um Risiken entgegenzuwirken und Gewalt, Ausbeutung und Missbrauch zu verhindern. Kindernothilfe e.V. initiierte 2014 gemeinsam mit der Karl Kübel Stiftung, dem Child Fund und terre des hommes das Projekt "Entwicklung und Umsetzung institutioneller Kinderschutzpolitiken sowie Vernetzung mit lokalen Kinderschutzsystemen durch mindestens 240 Organisationen in neun Ländern Asiens und Afrikas". Da das Projekt im Dezember 2018 endet, beauftragte Kindernothilfe e.V. das Centrum für Evaluation im August 2018 mit der Durchführung einer Evaluation. Ziel dieser ist es die Wirkungen des Projekts zu identifizieren und Erkenntnisse und Empfehlungen für zukünftige Interventionen auszusprechen. Ein wesentlicher Teil dabei ist es, die Theory of Change (ToC) des Projekts rückwirkend zu entwickeln, wobei die Partizipation von Konsortialpartnern, nationalen Trainern sowie der Zielgruppe und Begünstigten heirfür eine große Rolle spielt. Im Oktober 2018 finden Feldbesuche in Äthiopien und Südindien statt um insgesamt sechs Partnerorganisationen zu besuchen und Interviews und Fokusgruppengespräche zu führen. Kinder werden in die Evaluation miteingeschlossen, wofür kindgerechte, partizipative Forschungsmethoden, wie Picture Talk und Smiley-face-Skalen angewandt werden. Am Ende jedes Feldbesuchs findet ein eintägiger Workshop statt zu dem alle am Projekt teilgenommenen Organisationen der jeweiligen Region eingeladen sind. Während des Workshops werden vorläufige Ergebnisse sowie die ToC vorgestellt, diskutiert und validiert. Schließlich werden die verschiedenen Daten analysiert, trianguliert und die Ergebnisse den Konsortialpartnern vorgestellt.
Ex-post Assessment des Strategic Fairtrade Funding Programms (SFFP), Phase II (2010-2013)	9/2018	10/2018	Dr. Susanne Johanna Väth
Leiter: Dr. Susanne Johanna Väth Mitarbeiter: M.Sc. Elisabeth Schneider Beschreibung Eines der Hauptziele des Eidgenössischen Departments für Handelsförderung ist es, faire Handelsbedingungen mit Entwicklungsländern zu unterstützen. Private Labels und Standards leisten hier einen wesentlichen Beitrag. Dementsprechend unterstützte das Staatssekretariat für Wirtschaft (SECO) von 2008 bis 2009 und von 2010 bis 2013 das Strategic Fairtrade Funding Programme (SFFP) als Teil eines Geberkonsortiums. Hauptziel der harmonisierten Finanzierung war es, benachteiligte Produzent/-innen in die Lage zu versetzen, stärkere Handelsverbindungen zu Verbrauchern herzustellen, einen besseren Marktzugang zu erhalten und zur Armutsbekämpfung befähigt zu werden. Bereits 2014/2015 wurde eine Evaluation durchgeführt, die die Phase II des Förderprogramms untersuchte. Weitere Studien zur Wirkung von Fairtrade umfassen u.a. eine Follow-up-Wirkungsstudie auf Produzentenebene, die sechs Produkt- und Kontextsettings umfasst und vom Centrum für Evaluation (CEval GmbH) 2017/2018 durchgeführt wurde. Vier Jahre nach Auslaufen des SFFP ist es nun für SECO von Interesse, den Grad der Zielerreichung der im SFFP Logic Framework festgelegten strategischen Indikatoren zu beurteilen sowie SECOs Beitrag hierzu zu untersuchen. Das Ex-post Assessment verfolgt somit drei Ziele: (i) bestehende Informationen zur Wirkung von SECOs Unterstützung für das Fairtrade-System nutzbar machen, (ii) die Ergebnisse früherer Studien durch neue Daten zur Relevanz und Nachhaltigkeit des Programms zu ergänzen und (iii) die wichtigsten Erkenntnisse, Empfehlungen und Lessons Learnt im Hinblick auf künftiges Engagement von SECO im Bereich Fairtrade herauszuarbeiten. Zu diesem Zweck wird CEval relevante Sekundärdaten untersuchen und zusätzliche Primärdaten bei Stakeholdern der FT-Zentrale, dreier FT-Regionalnetzwerke und FT USA erheben.
Evaluierung des Projekts „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen (Hamburg)“	4/2018	6/2018	Dr. Susanne Johanna Väth	Plan International Deutschland e.V.
Leiter: Dr. Susanne Johanna Väth Mitarbeiter: M.A. Sandra Bäthge Beschreibung Plan International Deutschland e.V. engagiert sich für die Umsetzung der internationalen Mindeststandards zum Schutz von Kindern in humanitären Krisen. Das Projekt "Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen", das Plan International Deutschland e.V. zwischen Juli 2017 und Juni 2018 in zwei Flüchtlingsunterkünften in Hamburg umsetzt, zielt darauf ab, die Sicherheit der dort lebenden Kinder und Jugendlichen zu stärken, eine kinderfreundliche Umgebung zu schaffen und den Kinderschutz in den Flüchtlingsunterkünften sicherzustellen. Ziel der Maßnahmen ist es, die Risiken für Kinder und Jugendliche soweit zu verringern, dass ihr Wohl gesichert ist. Dies geschieht, indem ein positives Umfeld für Kinder und Jugendliche geschaffen wird, in dem die Kinderrechte geachtet werden. Übergeordnetes Ziel der Evaluation ist es, das Projekt " weitestgehend bilanzierend und damit summativ zu beurteilen. Zugleich werden in der Evaluation, insbesondere angesichts der fortlaufenden Arbeit mit Kindern und Jugendlichen im Flüchtlingskontext, auch Optimierungspotentiale herausgearbeitet und Handlungsempfehlungen gegeben. Mit einem Schwerpunkt auf dem OECD/DAC-Evaluationskriterium der Effektivität wird die Evaluation aufzeigen, in welchem Umfang das Projekt die gesetzten Ziele und Ergebnisse erreichen konnte und inwiefern die durchgeführten Aktivitäten zur Erreichung der Projektzielen angemessen waren. Aus methodischer Sicht werden ein partizipativer Evaluationsansatz sowie ein Multimethodenansatz verfolgt. Eine Kombination von unterschiedlichen Datenerhebungs- und Auswertungsmethoden wird den besonderen Erfordernissen des Evaluationsgegenstands und der Zielgruppe von Kindern und Jugendlichen Rechnung tragen. Daher wird das Evaluationsteam leitfadengestützte Experteninterviews, Fokusgruppen und kreative Verfahren zur qualitativen Datenerhebung von Kindern anwenden.
Begleitung und Beratung Wirkungsmessung/Baseline Update Länderprogramm Bangladesch	5/2016	4/2018	Dr. Stefan Silvestrini	Hilfswerk der Evangelischen Kirchen Schweiz (HEKS)
Leiter: Dr. Stefan Silvestrini Mitarbeiter: Dr. Susanne Johanna Väth Beschreibung Das Länderprogramm Bangladesch 2013-1016 von HEKS/EPER hat zum Ziel die soziale Inklusion von marginalisierten und entrechteten Minderheiten im Nordwesten Bangladeschs zu fördern. Die unterschiedlichen Interventionen haben vor allem urbane und rurale Dalit und Flachland-Adibashi Gemeinden zur Zielgruppe, die unter komplexen Formen von Diskriminierung leiden. Der Ausschluss der beiden Minderheiten ist ein entscheidender Grund für Konflikte zwischen Minderheiten und der Mainstream-Gesellschaft. Mit einem Menschenrechtsansatz und einem Value-Chain Ansatz will HEKS die soziale Inklusion der beiden Gruppen fördern. HEKS will die Wirkungen aus der letzten Projektphase messen und gleichzeitig valide Baselinedaten für die kommende Programmphase erheben. Das CEval steht HEKS dabei unterstützend zur Seite. Die Wirkung des Programms sollen mit Hilfe von Haushaltsbefragungen und der qualitativen Methode der contribution analysis erfasst werden. CEval unterstützt HEKS dabei hauptsächlich bei der Vorbereitung für die quantitative Datenerhebung und bei der quantitativen Datenauswertung. Das CEval bereitet die Sampling Strategie vor, hilft bei der Entwicklung der Erhebungsinstrumente und bei der statistischen Auswertung der Daten. Bei letzterem gilt es insbesondere die zuvor erhobenen Daten mit den neu erhobenen Daten so zu kombinieren um valide Schlüsse aus der statistischen Analyse ziehen zu können.
International Program for Development Evaluation Training (IPDET)	7/2018	0/0	Dr. Stefan Silvestrini	Independent Evaluation Group (IEG)
Leiter: Dr. Stefan Silvestrini Mitarbeiter: Felix Stips, Laszlo Szentmarjay, Theresa Weippert Beschreibung Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Seit 2018 wird es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zum diesjährigen IPDET finden Sie auf der Website: https://ipdet.org/.