Schlagwortarchiv für: Evaluation

COCO lab

/in , , , , /von

Ziel der Evaluation ist es die Intendierten Wirkungen des COCO lab zu überprüfen sowie die Strukturen, Aktivitäten und Prozesse des Projekts in Zusammenhang mit den Wirkungen zu hinterfragen.

Ein theoriebasierter Evaluationsansatz bildet die Basis für die empirische Datenerhebung. Entlang der Programmtheorie werden die Wirkannahmen des COCO lab mit den Umsetzungsaktivitäten und den erzielten Resultaten bei Zielgruppen in Beziehung gesetzt. Komplexe Zusammenhänge zwischen Projektzielen/Wirkannahmen, verschiedenen Intentionen/Aktivitäten und Wirkungen werden transparent und mit den Beteiligten kommunizierbar. Auch potentielle, nicht intendierte Wirkungen können dabei zum Vorschein treten. Ziel ist es empirisch begründete Aussagen über Wirkungen und Wirkzusammenhänge im COCO lab zu treffen.

Das Evaluationsdesign baut auf einer dynamischen Abfolge von fünf Phasen auf:

  • Phase 1 umfasst die Auftragsklärung und Exploration von Wirkungen/Wirkannahmen, wobei Dokumente analysiert und erste explorative Beobachtungen geführt werden.
  • In Phase 2 wird ein vorläufiges Wirkmodell entwickelt.
  • Phase 3 umfasst den Hauptteil der Datenerhebung, die multi-methodisch durchgeführt wird. Es werden Beobachtungen, Vorher/Nachher Befragungen, partizipativen Workshops sowie Interviews geführt.
  • In Phase 4 erfolgt die Validierung der Wirkungszusammenhänge gemeinsam mit dem COCO lab Team.
  • Phase 5 konzentriert sich auf die abschließende Analyse, Berichtlegung und Präsentation der Ergebnisse.

Das Wiener Bildungsversprechen

/in , , , /von

Die Evaluation begleitete Das Wiener Bildungsversprechen (WBV), ein Projekt zur Förderung der eigenverantwortlichen Entwicklung von Wiener Pflichtschulen. Es reagiert seit 2022 auf die vielfältigen Herausforderungen, vor denen Schulen stehen, und unterstützt sie dabei, diese zu bewältigen und schulische Entwicklungsprozesse nachhaltig voranzutreiben. 

Im Projekt werden Bildung und Schulentwicklung ganzheitlich betrachtet. Auf Basis schulstandortspezifischer Vereinbarungen setzen Schulen Entwicklungsprozesse in Bereichen wie Organisationsentwicklung, Unterrichtsentwicklung, Teamentwicklung und digitale Entwicklung um. Dabei werden sie von Partner*innen aus der Bildungsdirektion und Schulverwaltung, der Pädagogischen Hochschule sowie externen Coaches und Berater*innen begleitet.
EDUCULT hat die ersten beiden Durchgänge des Programms durch qualitative und quantitative Methoden evaluiert: Wir analysierten relevante Dokumente, führten Interviews und Fokusgruppen mit Projektteam, Partner*innen, Schulpersonal und WBV-Berater*innen durch, beobachteten Fallbeispiele vor Ort an Schulen und setzen abschließend eine Online-Befragung um. Auf dieser Grundlage konnten wir den Aufbau und die Entwicklung des Programms nachvollziehen, Wissen zu Potentialen und Problemen mit den Projektverantwortlichen teilen und Anpassungen im Programmprozess systematisch bewerten.

Die über drei Jahre gesammelten Daten bilden eine umfassende Grundlage zur programmunterstützten Schulentwicklung im Kontext des WBV. Der Endbericht zeigt, wie Maßnahmen des Wiener Bildungsversprechens nachhaltig und systemisch gesteuert wurden, benennt zentrale Herausforderungen und formuliert Empfehlungen an Bildungspolitik und Programmverantwortliche.

Politik im Freien Theater

/in , , , , , /von

„Politik im Freien Theater“ ist ein Theaterfestival der Bundeszentrale für politische Bildung, das alle drei Jahre in Kooperation mit lokalen Bühnen und der Freien Szene stattfindet und jeweils ein Schwerpunktthema (so zuletzt Reich, Macht und Grenzen) in künstlerischen und diskursiven Formaten verhandelt. Ziel der Evaluationen und Befragungen war es, Struktur, Erfahrungen und Wahrnehmungen des Publikums sichtbar zu machen und die Weiterentwicklung des Festivals zu unterstützen. Primäre Zielgruppen waren Festivalbesucher*innen sowie die Veranstalter*innen und beteiligte Partner*innen, die mit den Ergebnissen strategisch weiterarbeiten.

Über mehrere Festivalausgaben hinweg entwickelten und verfeinerten wir ein Befragungs- und Evaluationsdesign, das Papier- und digitale Fragebögen mit ergänzenden qualitativen Elementen verbindet. Pro Ausgabe haben wir – je nach Bedarf – unterschiedliche Schwerpunkte gesetzt, etwa:

  • Fokus auf die Besucher*innenstruktur, Reichweite und Zugänge
  • Fokus auf die Wahrnehmung des jeweiligen Mottos und dessen Verbindung zu künstlerischen und diskursiven Formaten
  • Fokus auf die Wahrnehmung der Kooperationen und Besucher*innen des Regionalprogramms
  • Vertiefende Fragen zur Verbindung von politischer und kultureller Bildung, Teilhabeerfahrungen und Festivalprofil

Die Auswertungen lieferten Einblicke in Zusammensetzung und Motivation des Publikums, die Wahrnehmung des Festivalprofils und die Bewertung einzelner Programmbestandteile. Mit unseren Empfehlungen und Handlungsoptionen unterstützten wir die Bundeszentrale für politische Bildung und die Festivalpartner*innen dabei, „Politik im Freien Theater“ so weiterzuentwickeln, dass politische Bildung über das Festivalprogramm noch zugänglicher und wirksamer gestaltet werden kann.

Mehrjährige Kulturförderung der Stadt Graz

/in , , /von

Forschungsdesign:

Ziel der Evaluation ist es, ein umfassendes Bild über die Kulturförderpolitik Graz zu erhalten. Hierfür werden erstens die Entwicklungen der Kulturförderpolitik Graz im Allgemeinen erforscht. Zweitens ist es von wissenschaftlichem Interesse, die Entwicklungen der jeweiligen Sparten innerhalb der Grazer Kulturförderpolitik, sowie ihrer Fördernehmer*innen zu beleuchten. Ziel ist es, kulturpolitische Empfehlungen auf Basis der empirischen Erkenntnisse zu entwickeln.

Methodischer Ansatz:

Die methodische Datenerhebung ist qualitativ orientiert und umfasst Einzelinterviews und Arbeitsgespräche. Außerdem werden die empirischen Daten durch eine theoretische Dokumentenanalyse bereitgestellter Texte und Dokumente unterstützt. Analysiert und miteinander trianguliert werden die erhobenen theoretischen wie empirischen Daten mittels der qualitativen Inhaltsanalyse nach Kuckartz (2018) und der Situationsanalyse nach Clarke (2012). Es erfolgt ein Abschlussbericht mit einer Zusammenschau der Ergebnisse inklusive Handlungsempfehlungen für die Kulturförderpolitik Graz.

Profil: Soziokultur

/in , , /von

Forschungsdesign

Die Förderungen der Soziokultur als demokratische, partizipative und gesellschaftskritische Form der Kunst ist insbesondere in pandemischen Zeiten von besonderer Wichtigkeit, um nicht nur das kulturelle Leben, sondern demokratische Strukturen schlechthin zu erhalten. Diese gilt es in ihrer Struktur zu stärken. Hier setzt das Sonderprogramm „Profil: Soziokultur“ an und fördert die Profilbildung und Organisationsentwicklung von gemeinnützigen Trägern der Soziokultur, Kulturellen Bildung sowie der Kultur und Medienarbeit, um auch zukünftige Herausforderungen meistern zu können. Vor diesem Hintergrund ist es Ziel der Evaluation die Arbeit des Fonds Soziokultur als Akteur für die Weiterentwicklung und Innovation der Kulturellen Teilhabe und Mitgestaltung zu analysieren. Zweitens sollen die Wirkungen des Sonderprogramms in Bezug auf die Organisationsstruktur und Profilentwicklung der geförderten soziokulturellen Projekte festgestellt werden.

Entsprechend dieser zwei Zielbereiche der Evaluation ist der Gegenstand des Arbeitspakets 1, die Evaluation des Förderverfahrens (Formalitäten, Information, Beratung, Kriterien), sowie die Entwicklung und Umsetzung des Begleitprogramms „Re:Vision X“. Sowohl das Förderverfahren selbst, als auch das Begleitprogramm werden aber auch in ihrer Bedeutung für die Entwicklung der Aktivitäten (Förderung, Begleitung, Transfer, Diskurs) evaluiert.

Gegenstand des Arbeitspakets 2 ist es, das Förderprogramm „Profil: Soziokultur“ in Bezug auf die Entwicklung und Stärkung soziokultureller Strukturen zu evaluieren. Das Evaluationsteam bringt neben weitreichenden Erfahrungen im Bereich der Evaluation in Kultur- und Bildung auch fundierte Kenntnisse der Strukturen, Akteur*innen und Förderung von Soziokultur in Deutschland mit, indem auch Dr. in Beate Kegler im EDUCULT- Evaluationsteam für diese Evaluation mitwirkt.

Methode

Auf Grundlage der Qualitätsbereiche Struktur-, Prozess- und Ergebnisqualität erfolgt das Evaluationsdesign durch einen mehrdimensionalen Mixed-Methods Ansatz. Dieser umfasst einerseits eine Triangulation quantitativer (Online-Umfrage) und qualitativer (Interviews, Fokusgruppen) empirischer Erhebungsmethoden. Andererseits erfolgt eine Kombination des empirischen Datenmaterials und eine theoretisch fundierte Dokumentenanalyse von bereitgestellten Datenmaterialien (Vorstudien, Dokumentationen, Projektberichte). Der multimethodische Ansatz stellt sicher, dass verschiedene Perspektiven Eingang in die Analyse finden und breitgefächerte sowie tiefreichende Erkenntnisse zur fundierten Ergebnisfindung beitragen.

New Pathways for German-Turkish Youth Exchange

/in , , , , /von

Evaluationsdesign

Die Evaluierung umfasst das von der Deutsch-Türkischen Jugendbrücke (DTJB) initiierte Projekt „New Pathways for German-Turkish Youth Exchange“, das die drei Maßnahmen „20∞1 – Zukunftsfestival Almanya-Türkei“, „Jugend gestaltet Städtepartnerschaft“ und „Gaming und Jugendaustausch“ umfasst. Das Forschungsdesign ist darauf ausgerichtet, alle drei Maßnahmen hinsichtlich ihrer Prozesse und Ergebnisse zu analysieren. Anschließend werden Handlungsempfehlungen und Optimierungsmöglichkeiten auf Basis der Ergebnisse entworfen.

Methoden

Die methodische Rahmung der Evaluation umfasst ein komplexes Mixed-Methods-Design. In einem ersten Teilschritt werden theoretische Daten, die durch eine Dokumentenanalyse gewonnen wurden, hinsichtlich der zugrundeliegenden Forschungsfragen analysiert. Diese ersten Erkenntnisse fließen in die weiteren Teilschritte der Datenerhebung. In einem zweiten Schritt werden sowohl a) quantitative Erhebungen in Form von Umfragen mit qualitativen empirischen Daten durch b) Interviews mit verschiedenen Akteur*innen und c) teilnehmende Beobachtungen einiger Workshops der Projekte trianguliert. Abschließend werden sämtliche empirische Daten einer Analyse unterzogen sowie miteinander verglichen, um die der Evaluation zugrundeliegenden Forschungsfragen zu beantworten.

Sesam

/in , , /von

SESAM wurde von der Diakonie Bildung entwickelt und verfolgt das Ziel, Volksschulen Know-how für die Stärkung der Zusammenarbeit aller, die am Lernen beteiligt sind, sowie für die Förderung des Engagements von Eltern für den Bildungsweg ihrer Kinder an die Hand zu geben. Mit diesem Ziel unterstützt SESAM Eltern von Schulanfänger*innen, damit diese ihre Kinder auf ihrem Bildungsweg begleiten und fördern können und organisiert Bildungsangebote für Eltern und Lehrer*innen, als auch Räume um regelmäßigen und konstruktiven Austausch zu schaffen.

Nach einer Pilotphase wurde das Projekt 2021 auf weitere Schulen ausgeweitet. EDUCULT begleitete das Projekt in dieser zweiten Phase. Dabei lag der Fokus der Evaluation auf der Wirkungsanalyse der Projekts um nachzuverfolgen, welche Ergebnisse bei Eltern in Bezug auf die Begleitung ihrer Kinder beim Schuleinstieg wahrgenommen werden können und welche Wirkungen sich in der Zusammenarbeit von Schule und Eltern zeigen.

Im Rahmen der Analyse werden sowohl Interviews mit den Schulleitungen, Lehrer*innen und Eltern, sowie teilnehmende Beobachtungen durchgeführt. Dabei wurde untersucht, welche Formate der Wissenserweiterung sowie Vernetzung und Orientierung den Eltern durch SESAM geboten wurden, wie dies von den Eltern angenommen wurde und inwiefern die SESAM Arbeit zu einer positiven Veränderung in der Beziehung der Eltern zu den Schulen beitragen und das Vertrauen zwischen Lehrer*innen und Eltern gestärkt werden konnte.

Respekt – gemeinsam stärker!

/in , , /von

„Respekt – gemeinsam stärker!“ ist ein Kooperationsprojekt, das von der Stadt Wien gefördert und vom Verein Wiener Jugendzentren in Zusammenarbeit mit der Bildungsdirektion umgesetzt wird. Das Ziel des Präventionsprojektes ist es, zehn Wiener Schulen (schwerpunktmäßig Neue Mittelschulen) bei der Bewältigung sozialer Herausforderungen wie Mobbing, Abwertung aufgrund von Geschlecht, sexueller Orientierung oder Herkunft, Konflikten, Spannungen im Klassenzimmer etc. zu unterstützen. Dabei sollen nicht punktuelle Interventionen gesetzt, sondern Schulen befähigt werden, sich ganzheitlich, systematisch und mit einem auf Nachhaltigkeit abzielenden Ansatz mit den Herausforderungen im Schulalltag auseinanderzusetzen.

Das Projekt zielt darauf ab, angst- und gewaltfreie Schulen zu etablieren, Schüler*innen zu stärken, Lehrer*innen zu entlasten und Eltern aktiv einzubinden. Um diese Ziele zu erreichen und die Schulkultur nachhaltig zu verändern, werden diverse Rahmenbedingungen geschaffen.

Die begleitende Evaluation legt den Fokus auf Projektaufbau und -struktur, laufende Prozesse und Transfermöglichkeiten sowie Erarbeitung von Empfehlungen zur Optimierung.

Methode

Die Evaluation, die auf der Akteur-Netzwerk-Theorie basiert, setzt auf einen Mix aus qualitativen und quantitativen Methoden. Mittels Interviews mit Projektverantwortlichen, Schulleiter*innen, Eltern, Kooperationspartner*innen, Beobachtungen, Fokusgruppen mit Schüler*innen, einer Online-Umfrage mit Lehrer*innen und Dokumentenanalysen stellen wir sicher, dass alle Evaluationsfragen beantwortet werden können.

(Kultur-)Förderfonds-Projekte

/in , , , , /von

Seit 2011 hat das Goethe-Institut – gefördert durch das Auswärtige Amt – über 100 Projekte in Sudan, Algerien, Tunesien, Marokko, Libyen, Libanon, Jordanien, Irak und Ägypten im Rahmen der Ta’ziz Partnerschaft umgesetzt. Übergeordnetes Ziel dieser Aktivitäten ist die Unterstützung von Demokratisierungs- und Reformprozessen in der Region Nordafrika/Nahost. Gegenstand der Evaluation ist der Förderfonds-Ansatz auf Basis der vier (Kultur-)Förderfonds-Projekte: „Kulturakademie NANO“, „Kulturakademie Libyen“, „Aktionsbühne Irak“ sowie „New Spaces Transforming Sudan“.

Methode

Als methodischer Ansatz wurde die Contribution Analysis nach Mayne gewählt, die auf Basis einer Theory of Change plausible Wirkungsketten formuliert und so die Wirkungen und Potentiale der verschiedenen Maßnahmen überprüft. Neben einer Dokumentenanalyse kommen Interviews mit unterschiedlichen Akteursgruppen sowie eine Online-Befragung zum Einsatz.

KulturKatapult

/in , , , /von

Ende 2019 startete die Stadt Wien unter dem Titel „KulturKatapult“ einen Call, der Kunst- und Kulturvermittler*innen adressierte. Gesucht wurden Vermittlungsprojekte, die mit mind. einer Bildungs- oder Jugendeinrichtung kooperieren und Jugendlichen zwischen 15 und 20 Jahren kulturelle Partizipation ermöglichen. Insbesondere jene, die bisher wenig an Kunst- und Kulturangeboten teilgenommen haben, sollen erreicht werden.

Über 200 unterschiedliche Fördernehmer*innen, Initiativen, Vereine und Vermittler*innen haben Projektideen eingereicht. Eine Jury hat daraus 14 Projekte ausgewählt, die nun bis Ende 2021 umgesetzt werden.

EDUCULT begleitet die Entwicklung des Projekts im Rahmen einer externen Evaluation. Hauptziel ist es, die Relevanz des Förderkonzepts zu überprüfen, indem die Bedeutung für den Sektor der Kulturvermittlung und für die kulturelle Teilhabe von Jugendlichen in Wien hinterfragt wird. Außerdem wird untersucht, inwiefern die Projektstrukturen und -prozesse die Ergebnisse und Wirkungen von KulturKatapult unterstützen. Auf Basis dessen wird ein Ergebnisbericht erstellt und evidenzbasierte Empfehlungen zur Weiterentwicklung abgegeben.

Methode

Die Evaluation basiert auf einem Mixed-Methods Ansatz, der qualitative und quantitative Methoden kombiniert. Basierend auf einer Dokumentenanalyse werden Interviews mit Jurymitgliedern und dem Projektleitungsteam geführt, Fokusgruppen mit Fördernehmer*innen sowie Jugendlichen umgesetzt und eine Online-Umfrage mit allen Kooperationspartner*innen erstellt. Diese unterschiedlichen Blicke stellen eine differenzierte Beantwortung der Evaluationsfragen sicher.