eJournals unsere jugend 67/2

unsere jugend
4
0342-5258
Ernst Reinhardt Verlag, GmbH & Co. KG München
21
2015
672

Gewaltpräventive Angebote für Jugendliche

21
2015
Birgit Glock
Evaluationen zu gewaltpräventiven Angeboten werden mittlerweile zwar verstärkt durchgeführt, die Ergebnisse stehen jedoch oftmals unverbunden nebeneinander. Eine Aufgabe der Arbeitsstelle Jugendgewaltprävention, die von der Landeskommission Berlin gegen Gewalt im Jahr 2013 eingerichtet wurde, ist die methodische Bewertung und die inhaltliche Zusammenführung verschiedener Evaluationsbefunde. Im folgenden Beitrag wird mit Hilfe einer Meta-Evaluation und einer Evaluationssynthese die Frage beantwortet, wie, und wenn ja, für wen und in welcher Form verschiedene Projekte oder Maßnahmen gewaltpräventiv wirken.
4_067_2015_002_0059
59 unsere jugend, 67. Jg., S. 59 - 70 (2015) DOI 10.2378/ uj2015.art09d © Ernst Reinhardt Verlag München Basel von Dr. Birgit Glock Jg. 1973; Dipl.-Sozialwissenschaftlerin, Wissenschaftliche Mitarbeiterin in der Arbeitsstelle Jugendgewaltprävention bei Camino - Werkstatt für Fortbildung, Praxisbegleitung und Forschung im sozialen Bereich gGmbH Gewaltpräventive Angebote für Jugendliche Eine Meta-Evaluation und Evaluationssynthese Evaluationen zu gewaltpräventiven Angeboten werden mittlerweile zwar verstärkt durchgeführt, die Ergebnisse stehen jedoch oftmals unverbunden nebeneinander. Eine Aufgabe der Arbeitsstelle Jugendgewaltprävention, die von der Landeskommission Berlin gegen Gewalt im Jahr 2013 eingerichtet wurde, ist die methodische Bewertung und die inhaltliche Zusammenführung verschiedener Evaluationsbefunde. Im folgenden Beitrag wird mit Hilfe einer Meta-Evaluation und einer Evaluationssynthese die Frage beantwortet, wie, und wenn ja, für wen und in welcher Form verschiedene Projekte oder Maßnahmen gewaltpräventiv wirken. In den letzten Jahren hat sich im Bereich der Gewaltprävention eine breite und vielfältige, teils auch unübersichtliche Landschaft von unterschiedlichen Projekten und Programmen entwickelt. Mittlerweile ist es möglich, über einen Teil der Angebote anhand von Evaluationsstudien Aussagen hinsichtlich ihrer Zielerreichung, Zielgruppenerreichung und Wirkungen zu machen. Die Ergebnisse aus den Einzelstudien stehen jedoch oftmals unverbunden nebeneinander, sodass es für PraktikerInnen mühselig ist, sich anhand der verstreut vorliegenden, teils schwer zu beschaffenden Evaluationen einen Überblick über die Wirkweisen und Grenzen von gewaltpräventiven Projekten zu verschaffen. Vor diesem Hintergrund bestand ein Ziel der Arbeitsstelle Jugendgewaltprävention darin, belastbare empirische Befunde über die gewaltpräventive Wirkung von Programmen, Maßnahmen und Initiativen aus bereits evaluierten Projekten zusammenzuführen, wofür eine Meta-Evaluation und eine Evaluationssynthese durchgeführt wurden. 1 1 Der vorliegende Beitrag bezieht sich auf den 2014 erschienenen Bericht „Meta-Evaluation, Evaluationssynthese und Entwicklung von Bewertungskriterien“ von Birgit Glock und Kari-Maria Karliczek, der - zusammen mit anderen Berichten - auf der Internetseite der Arbeitsstelle Jugendgewaltprävention unter www.jugendgewaltprae vention.de abgerufen werden kann. 60 uj 2 | 2015 Evaluation von Prävention Meta-Evaluation und Evaluationssynthese Die inhaltlichen Ergebnisse aus einzelnen Evaluationsstudien zu kombinieren, um allgemeine Aussagen über die Reichweite von Interventionen zu treffen, ist das Ziel von Evaluationssynthesen (Caspari 2010, 1). Die Qualität einer solchen Synthese hängt jedoch in hohem Maße von der Qualität der einbezogenen primären Evaluationsstudien ab: Methodisch schwache Evaluationen können die Ergebnisse der Synthese unzulässig verfälschen (Cooksy/ Caracelli 2005, 32). Bevor die jeweiligen Evaluationsstudien inhaltlich zusammengeführt werden, muss also zunächst ihre methodische Zuverlässigkeit und wissenschaftliche Güte überprüft werden. Das geschieht im Rahmen einer Meta-Evaluation, die eine „Evaluation der Evaluation“ ist (Caspari 2010, 2; Stufflebeam 2001, 183). Sie ist - kurz gefasst - ein Trichter, mit dessen Hilfe ausschließlich methodisch überzeugende Evaluationen zur Generierung von Ergebnissen verwendet werden (siehe Abbildung 1). Um die Ergebnisse einzelner Evaluationsstudien zu kombinieren, sind mehrere Schritte notwendig, die im Folgenden kurz skizziert werden: ➤ Entwicklung von Bewertungskriterien für die Bestimmung der methodischen Qualität und wissenschaftlichen Güte von Evaluationsstudien, ➤ systematische Recherche sowie Auswahl geeigneter Evaluationen, ➤ Bewertung der ausgewählten Evaluationsstudien nach den vorab definierten Kriterien, ➤ qualitative Auswertung der Evaluationsstudien. Bevor die jeweiligen Evaluationsstudien also inhaltlich synthetisiert werden können, wird also zunächst ihre methodische Zuverlässigkeit anhand einer Meta-Evaluation überprüft. Die Meta-Evaluation Meta-Evaluationen stellen eine „Bewertung von Evaluationsstudien“ (Widmer 1996, 4) dar: Sie bewerten systematisch sowohl den Prozess als auch die Ergebnisse von anderen Evaluationen (Cooksy/ Caracelli 2005, 31; DeGEval 2008, 38). Dem Verfahren können verschiedene Typen der Evaluation, wie Programm-, Produkt-, Institutionen-, Personal oder Projektevaluationen unterzogen werden (Stufflebeam 2001, 183). Die Meta-Evaluation selbst kann sowohl formativ als auch summativ angelegt sein (Widmer 1996, 4), kann eine oder mehrere Evaluationsstudien zur Grundlage haben (Cooksy/ Caracelli 2005, 32). Methodisches Vorgehen Eine Meta-Evaluation ist zwar eine spezifische Form der Evaluation, aber im Prinzip können und sollen alle Instrumente und Verfahren, die aus der Evaluation bekannt sind, auch für eine Meta-Evaluation fruchtbar gemacht werden (DeGEval 2008, 37; Widmer 1996, 10). Besondere Bedeutung hat die Nutzung von Standards bzw. Kriterien, anhand derer die primären Evaluationen bewertet werden. Für die Evaluation 2 Evaluation 3 Evaluation 1 Evaluationssynthese Meta-Evaluation Abb. 1: Meta-Evaluation und Evaluationssynthese 61 uj 2 | 2015 Evaluation von Prävention Entwicklung dieser Kriterien kann auf verschiedene Evaluationsstandards, die in Form von Katalogen bei den entsprechenden Fachverbänden vorliegen, zurückgegriffen werden. Sie bieten Leitlinien, wie die Qualität von Evaluationen sicherzustellen ist (DeGEval 2008, 19; Widmer 1996, 10). In Deutschland regen die Standards der Gesellschaft für Evaluationen e. V. (DeGEval) an, dass Evaluationen vier grundlegenden Eigenschaften genügen sollten: Sie sollen nützlich, durchführbar, fair und genau sein (DeGEval 2008, 14). Diesen grundlegenden vier Eigenschaften sind jeweils weitere Einzelstandards zugeordnet (DeGEval 2008, 14), sodass sich am Ende 25 Standards für Evaluationen ergeben. Für die Entwicklung von Bewertungskriterien liegt es nahe, vorrangig solche Standards zu verwenden, die sich auf die methodische Zuverlässigkeit und die wissenschaftliche Güte der Primärstudien konzentrieren. Dementsprechend wichtig sind die Einzelstandards aus der Gruppe der Genauigkeitsstandards (G-Standards) (Beywl et al. 2004, 10). Zwar birgt diese Fokussierung den Nachteil, dass tatsächlich nur ein Aspekt der Evaluation überprüft wird. Dennoch hat dies den Vorteil, dass die von Widmer beschriebene Verflechtung einzelner Kriterien untereinander (Widmer 1996, 40) reduziert werden kann. Denn entscheidend für die Qualitätsbewertung ist, dass eine möglichst einheitliche Zuordnung und Einstufung der Primärstudien gewährleistet werden kann. Dafür bieten die Leitlinien der DeGEval eine gute Orientierung. Die übergeordneten Standards - wie beispielsweise „Beschreibung des Evaluationsgegenstands“ (Genauigkeitsstandard 1) oder „Beschreibung von Zwecken und Vorgehen“ (Genauigkeitsstandard 3) - können inhaltlich übernommen, jedoch mithilfe anderer Modelle oder Kataloge weiter ausformuliert und differenziert werden. Dafür werden die „Meta-Evaluation Checklist“ (Stufflebeam 1999) und die Checkliste des CIPP-Evaluationsmodells (Stufflebeam 2007) sowie die für den United Nations Development Fund for Women durchgeführte Meta-Evaluation (UNIFEM Evaluation Unit 2009) herangezogen. Die von der Arbeitsstelle Jugendgewaltprävention auf dieser Basis entwickelten Kriterien, die zur Bewertung der primären Evaluationsstudien herangezogen werden, sind in Tabelle 1 dargestellt. Ein Kriterienkatalog weist große Vorteile für die Bewertung von Evaluationsstudien auf, dennoch stellen sich auch methodische Probleme, unter denen die Gewichtung der einzelnen Kriterien wohl die größte Herausforderung darstellt (Baumgartner et al. 2002, 65ff ). Wenngleich alle oben aufgelisteten Kriterien entscheidend für die Beurteilung der methodischen Zuverlässigkeit einer Evaluation sind, dürften einige Kriterien weniger bedeutsam sein als andere. Bevor also über die wissenschaftliche Güte der Evaluationsstudien befunden werden kann, sollte zunächst über eine Gewichtung der ermittelten Bewertungskriterien gemäß ihrer relativen Bedeutung für die Meta-Evaluation im Rahmen einer Nutzwertanalyse entschieden werden. Die Nutzwertanalyse ist ein multikriterielles Bewertungsverfahren (Peters/ Zelewski 2004, 296). Sie wird vorrangig angewandt, wenn es um eine Bewertung von komplexen Alternativen bei der Entscheidungsfindung geht. Die Nutzwertanalyse stellt eine Weiterentwicklung von einfachen Punktebewertungs- oder Scoring- Modellen dar, wobei mehrere Zielkriterien im Hinblick auf ein Zielsystem gewichtet werden (Bechmann 1982, 799). Ihre Attraktivität für die vorliegende Meta-Evaluation liegt darin, dass sie als eine „qualitative Bewertungsmethode“ (Bundesministerium des Inneren 2013, 313) bezeichnet werden kann. Auch wenn es mittlerweile mehrere Generationen der Nutzwertanalyse gibt, ähneln sich die grundsätzlichen Verfahrensschritte (Bechmann 1982, 800; Bundesministerium des Inneren 2013, 314f ). Zunächst werden die Zielkriterien bestimmt. Danach werden die Zielkriterien entsprechend ihrer Bedeutung gewichtet, sodann wird der 62 uj 2 | 2015 Evaluation von Prävention Beschreibung des Evaluandums (G1) Ziele des Programms, des Projekts oder der Maßnahme werden expliziert Intendierte Outputs, Outcomes und Impacts werden erläutert Programmaktivitäten und Verfahren der Programmumsetzung werden beschrieben Annahmen zu den Wirkweisen des Programms Kriterienerfüllung/ Punktzahl 4 = exzellent 3 = gut 2 = mittel 1 = schwach 0 = nicht erfüllt Analyse des Kontexts (G2) Soziale, politische, ökonomische, kulturelle, technische, rechtliche Umweltbedingungen werden thematisiert Interessen der Betroffenen/ Beteiligten Externe und interne Projektressourcen werden dargestellt Übertragbarkeit der Resultate der Evaluation auf andere Kontexte Beschreibung von Zwecken und Vorgehen (G3) Fragestellung wird präzise formuliert (ggf. Neuformulierung während des Evaluationsprozesses) Zweck der Evaluation ist konzise erläutert (ggf. Neuformulierung während des Evaluationsprozesses) Bewertungskriterien werden nachvollziehbar festgelegt („Operationalisierung“) Vorgehen ist genau dokumentiert Angabe von Informationsquellen (G4) Deskription der genutzten Informationsquellen Unterschiedliche Datenquellen und Datentypen werden herangezogen Bericht über die Kriterien und Methoden, mit denen die Informationsquellen gewonnen und ausgewertet wurden Einschätzung und Bewertung der Quellen Valide und reliable Informationen (G5) Daten sind objektiv, reliabel sowie intern und extern valide Daten sind intersubjektiv nachvollziehbar, kommunikativ validiert und/ oder trianguliert Unterschiedliche Methoden („mixed methods“), um die jeweiligen methodischen Schwächen einzelner Erhebungsverfahren auszugleichen Abschließende Validierung Analyse qualitativer und quantitativer Informationen (G7) Evaluationsziel und die gewählten Verfahren der Erhebung und Analyse passen zusammen Analyseergebnisse leiten sich logisch und konsistent aus den gesammelten und analysierten Daten ab Analyseergebnisse werden vor dem Hintergrund der Programmziele bzw. der Programmlogik reflektiert Reichweite der Analyseergebnisse wird diskutiert Begründete Schlussfolgerungen (G8) Wirkweise des Programms wird reflektiert Ergebnisse thematisieren die intendierten als auch die unintendierten Outputs, Outcomes und Impacts Ergebnisse thematisieren die geplanten als auch ungeplanten Programmaktivitäten Nachvollziehbare und begründete Empfehlungen werden generiert Tab. 1: Bewertungskriterien für die Meta-Evaluation Quelle: DeGEval 2008; Stufflebeam 1999, 2007; UNIFEM Evaluation Unit 2009. 63 uj 2 | 2015 Evaluation von Prävention Grad der Zielerreichung - meist in Form von Punktzahlen - ermittelt, abschließend der Teilnutzen sowie der Gesamtnutzen errechnet. Als Ergebnis entsteht eine Wertsynthese, die einen Gesamtnutzwert - in unserem Fall die methodische Qualität und wissenschaftliche Güte einer Evaluation - übersichtlich ausweist. Empirische Umsetzung Das im vorangegangenen Abschnitt entwickelte Vorgehen wird auf die Evaluationen zu Projekten, Maßnahmen und Programmen im Kontext von Jugendgewaltprävention angewendet. Um die empirische Umsetzung der Meta-Evaluation nachvollziehbar darzustellen, werden die dafür notwendigen Schritte im Folgenden genauer erläutert. Der erste Schritt umfasste die Auswertung einschlägiger Datenbanken sowie eine freie Suche im Internet. Dabei wurden nicht nur Datenbanken aus dem sozialwissenschaftlichen Bereich gesichtet, sondern auch solche aus dem psychologischen bzw. kriminologischen Bereich. Dementsprechend wurde im KVK, in Sowiport, in KrimDok sowie in OPUS, PsychSpiderZPID und JSTOR gesucht. Zusätzlich wurden freie Suchen im Internet durchgeführt. Die Suche wurde bewusst offen gehalten, um auch Evaluationen zu finden, die möglicherweise durch den Titel oder durch andere Umstände nicht sofort als solche zu erkennen waren. Durch die Recherche konnten für den Zeitraum zwischen 2000 und 2013 rund 243 Berichte oder Artikel identifiziert werden. In einem zweiten Schritt wurden die Materialien beschafft und in einem dritten Schritt daraufhin geprüft, ob es sich dabei um eine Evaluation a) im engeren Sinne, b) von im deutschsprachigen Raum angesiedelten Projekten und c) von im genannten Zeitraum durchgeführten Projekten handelte. Alle Evaluationen, die diese Hürde überwunden hatten, wurden in einem vierten Schritt in eine Datenbank eingegeben. Aus pragmatischen Gründen wurden für die vorliegende Untersuchung 25 Evaluationen ausgewertet. Um inhaltliche Aussagen treffen zu können, wurden zwischen drei und vier Evaluationsstudien in verschiedenen präventionsrelevanten Handlungsfeldern - so beispielsweise in den Bereichen Kinder- und Jugendhilfe, Schule, Sport, Polizei sowie in der Arbeit mit Jugendlichen nach Straffälligkeit - untersucht, die sich mit thematisch ähnlichen Projekten und Maßnahmen beschäftigten. Die Auswahl der Evaluationen erfolgte also nicht zufällig, sondern themenbezogen, womit die ausgewählten Studien ein breites Spektrum von Handlungsfeldern, in denen gewaltpräventive Maßnahmen umgesetzt werden, abdecken. Ergebnisse der Meta-Evaluation Bei der Bewertung der methodischen Güte der Evaluationen zeigte sich, dass die allgemeine Qualität der untersuchten Evaluationen gut war: Von den 25 betrachteten Evaluationen wurden lediglich fünf aus der weiteren Analyse ausgeschlossen. Das entspricht einem Anteil von rund 20 %. Überwiegend wurden Studien ausgeschlossen, weil sie in der Kriteriengruppe G5 („valide und reliable Informationen“) weniger als zwei Kriterien erfüllten. Dabei handelte es sich sowohl um qualitativ als auch um quantitativ ausgerichtete Evaluationen. Die Evaluationssynthese Eine Evaluationssynthese zielt, wie eingangs bereits skizziert, auf eine Kombination der Ergebnisse einzelner Evaluationsstudien, um allgemeine Aussagen über die Reichweite von Programmen, Projekten und Maßnahmen treffen zu können. Bei allen Unterschieden liegen die Vorteile einer Evaluationssynthese auf der Hand: Durch die Kombination unterschiedlicher 64 uj 2 | 2015 Evaluation von Prävention Studien kann zeit- und ressourcensparend die Aussagekraft einzelner Studien erhöht werden, sollten sich ähnliche Ergebnisse in anderen Studien mit unterschiedlichen Zugängen und Methoden finden (U.S. General Accounting Office 1992, 65; Widmer 1996, 3). Darüber hinaus kann aufgezeigt werden, in welchen Bereichen noch Wissenslücken bestehen. Wie eine Evaluationssynthese methodisch umgesetzt wird, ist weitestgehend offen. Grundsätzlich können aber alle Arbeitsschritte oder Verfahren verwendet werden, die für die Synthese von primären wissenschaftlichen Studien entwickelt wurden. In einem ersten Schritt wird die Fragestellung formuliert, die an das zu untersuchende Material herangetragen wird. In einem zweiten Schritt werden die Befunde aus den unterschiedlichen Studien analysiert und integriert (Cooper/ Hedges 2009, 9). Ergebnisse der Evaluationssynthese Die Frage, die mittels der vorliegenden Evaluationen beantwortet werden sollte, war, wie, und wenn ja, für wen und in welcher Form verschiedene Projekte oder Maßnahmen gewaltpräventiv wirken. Um das herauszufinden, wurden die 20 Evaluationen, die eine methodisch ausreichende Qualität aufwiesen, qualitativ ausgewertet. Die in die vorliegende Evaluationssynthese eingeflossenen primären Evaluationen konzentrierten sich auf folgende Themenbereiche: ➤ Ambulante Maßnahmen und Übergangsmanagement, ➤ Anti-Aggressivitäts-Trainings und Coolness-Trainings, ➤ Fußballprojekte gegen Gewalt, ➤ Soziale Trainingsprogramme an Schulen, ➤ Städtebauliche/ kommunale Kriminalitätsprävention, ➤ Mehrfach- und Intensivtäterprogramme. Was wirkt? Alle Evaluationen kommen - mit einer Ausnahme - zu dem Schluss, dass das untersuchte Projekt oder Programm auf verschiedene Weisen seine Ziele erreicht und/ oder gewaltpräventiv wirkt. Gerade den Trainings wird ein Effekt zugesprochen, wobei es dabei zunächst relativ unerheblich ist, ob sich der Trainingskurs primärpräventiv an Schulkinder richtet oder tertiärpräventiv an bereits straffällig gewordene Jugendliche. So kommt eine Evaluation eines sozialen Trainingsprogramms an Schulen zu dem Schluss, dass „die Evaluationsergebnisse für ein universelles primärpräventives Interventionsprogramm sehr zufriedenstellend [sind; d. Verf.]. Aggressives Verhalten wird reduziert und soziale Kompetenzen werden gefördert“ (Spiel et al. 2011, 80). Zu einem ähnlichen Ergebnis kommt eine Evaluation, welche die Wirkung von Trainingskursen im Rahmen ambulanter Maßnahmen nach richterlicher Weisung untersucht: „Der Vorher-Nachher-Vergleich der gewichteten Delinquenzbelastung ergab bei allen drei untersuchten ambulanten Maßnahmen eine hochsignifikante Reduktion der im Zentral- und Erziehungsregister erfassten Delinquenz“ (Körner 2006, 273). Wenngleich weniger direkt wirkend, wird auch verschiedenen Elterntrainings ein gewaltpräventiver Effekt zugerechnet. In diesen Kursen soll die Erziehungs- und Konfliktlösekompetenz der Eltern erhöht werden. „Grundsätzlich erscheint TESYA family als ein sehr geeigneter und erfolgreicher Ansatz, um die Verhaltensauffälligkeiten der Jugendlichen nicht isoliert zu bearbeiten, sondern mit Unterstützung der Eltern“ (Schwenzer 2010, 22). Darüber hinaus zeigt sich anhand der untersuchten Evaluationen, dass Mehrfach- oder Intensivtäterprogramme der Polizei, bei denen ein täterorientierter Ermittlungsansatz eingesetzt wird, präventiv wirken 65 uj 2 | 2015 Evaluation von Prävention können. Das gilt auch für Ansätze der kommunalen Kriminalprävention und der städtebaulichen Kriminalitätsprävention, die zwar weitaus vermittelter wirken, denen aber dennoch ein Effekt auf die Kriminalitätsfurcht oder aber auf die informelle soziale Kontrolle zugewiesen wird. Eine Evaluation zur kommunalen Kriminalitätsprävention fasst ihre Resultate folgendermaßen zusammen: „Die Ergebnisse der Analysen zeigten, dass sich die Kriminalitätsfurcht im Rhein-Neckar-Kreis in den letzten 10 Jahren erheblich verringert hat“ (Hermann 2008, 230). Die Ergebnisse einiger Evaluationen zeigen zudem, dass nicht alle Bausteine oder Module eines Projekts oder Programms in gleicher Weise zur gewaltpräventiven Wirkung beitragen. Das zeigt sich beispielhaft an den Trainingskursen mit aggressiv auffälligen oder bereits straffällig gewordenen Jugendlichen, die sich an der Methode der konfrontativen Pädagogik orientieren. Gerade die Teile des Trainings, die einerseits auf eine am „Einzelfall orientierte Umgangsweise mit ‚Dauerproblemen‘ einzelner TeilnehmerInnen“ (Palloks 2004, 169) ausgerichtet sind oder andererseits bestimmte Trainingselemente eingeführt haben, die einen Transfer des Gelernten in den Alltag leisten können (Grieger/ Schroer 2002, 75), sind in zwei Evaluationen als besonders gelungen bewertet worden. Als besonders wirksam haben sich in diesen Untersuchungen also gerade die Module des Anti-Aggressivitäts-Trainings herausgestellt, die am wenigsten von der konfrontativen Pädagogik beeinflusst sind. Für wen wirkt es? Grundsätzlich zeichnen die meisten Evaluationen einen hohen Grad der Zielgruppenerreichung für die von ihnen untersuchten Projekte nach. Das ist für Maßnahmen, Projekte oder Programme, die ihre TeilnehmerInnen entweder verpflichtend rekrutieren (z. B. soziale Trainingskurse im Jugendstrafvollzug) oder universal gewinnen (z. B. soziale Trainingskurse in der Schule), allerdings auch nicht weiter verwunderlich. Größere Relevanz im Hinblick auf die oben formulierte Frage haben die gewaltpräventiven Projekte oder Maßnahmen, die auf freiwilliger Basis beruhen. Sie müssen geeignete Strategien entwickeln, um die Kinder und Jugendlichen, aber auch deren Eltern zu erreichen. Einem Großteil der evaluierten Projekte ist es gelungen, die Zielgruppen zu erreichen, auch wenn es bei dem einen oder anderen zu Beginn einige Schwierigkeiten gab, wie die folgende Evaluation zeigt: „Die Projekte haben zur Hälfte ihre Zielgruppen zumindest teilweise verändert, was als Resultat und Ausdruck anfänglicher Zugangsschwierigkeiten zu bewerten ist“ (Schenkel/ Schwenzer 2010, 38). Deshalb stellt das Präventionsprojekt „Straßenfußball für Toleranz“ in dieser Hinsicht eine Ausnahme dar: Hier wird in aller Offenheit formuliert, dass es mit diesem Projekt nicht gelungen ist, die anvisierte Zielgruppe der gewaltbereiten Jugendlichen einzubinden: „Die ‚Straßenfußballer‘ weichen kaum vom Durchschnitt der brandenburgischen Jugendlichen ab. Die Befunde der Fragebogen-Erhebung wie auch der Interviews zeichnen sie als eine Gruppe, die sich weit eher als friedfertig denn als gewaltbereit ausweist. Insofern kann sicherlich nicht davon die Rede sein, dass das Projekt ‚Straßenfußball für Toleranz‘ vornehmlich gewaltbereite Jugendliche angesprochen habe. Vielmehr wird man davon ausgehen dürfen, dass die gesamte Bandbreite der brandenburgischen Jugendlichen erreicht wurde“ (Borković 2010, 344). Für die Einschätzung der Wirksamkeit ist es ebenfalls wichtig zu wissen, auf wen das Projekt oder die Maßnahme einen Effekt hat. Gibt es - anders formuliert - bestimmte Programme, die für bestimmte Situationen oder auch Zielgruppen besonders wirksam sind? Erste Hinweise geben die Evaluationen: So zeigt eine Untersuchung, die sich mit der Wirksamkeit von schulischen Präventionsmaßnahmen im Bereich 66 uj 2 | 2015 Evaluation von Prävention Mobbing beschäftigt, dass sich statistisch deutlich nachvollziehbare Effekte lediglich in Klassen mit einem problematischen Klassenklima zeigten, in allen anderen Klassen veränderte sich hingegen nichts (Landesinstitut für Lehrerbildung und Schulentwicklung der Behörde für Schule und Berufsbildung Hamburg 2009, 17). Auch die Evaluation des Faustlos-Curriculums kommt zu dem Ergebnis, dass „insbesondere bei den Jungen und den Schülerinnen und Schülern mit hohen Aggressionskennwerten … sich ein statistisch bedeutsamer Rückgang im Vergleich zu Schülerinnen und Schülern mit niedrigeren Aggressionskennwerten zu Beginn des Curriculums und den Kontrollgruppenschülerinnen und -schülern“ (Bowi et al. 2008, 518) zeigt. Ähnlich, wenn auch im Bereich der tertiären Prävention verortet, kommt eine Untersuchung von Mehrfach- und Intensivtäterprogrammen zu dem Ergebnis, dass„die polizeilichen Konzepte zum Umgang mit jungen Mehrfach- und Intensivtätern tatsächlich bei denjenigen Gruppen erfolgreich sind, für die sie gedacht sind. Wenngleich die Datengrundlage nur vorsichtige Schlüsse zulässt, deutet sich doch an, dass besonders junge MIT [MehrfachintensivtäterInnen; d. Verf.] und jMIT [junge MehrfachintensivtäterInnen; d. Verf.] mit hoher Belastung an Gewaltdelikten und jMIT [junge MehrfachintensivtäterInnen; d. Verf.] mit Migrationshintergrund von den Programmen erreicht werden konnten“ (Bliesener et al. 2010, 186). Soziale Trainingskurse, so das übereinstimmende Ergebnis von zwei Evaluationen, nützen insbesondere Jugendlichen, die sich an Gleichaltrigen orientieren: „Jugendliche, die sich für Gleichaltrige interessieren, profitieren von sozialen Trainingskursen“ (Körner 2006, 274). Für andere Jugendliche wiederum kann ein Einzeltraining mit einem Pädagogen/ einer Pädagogin hilfreicher sein. Der sogenannte „Heiße Stuhl“, ein besonderes Instrument im Rahmen der konfrontativen Pädagogik, ist - so das Ergebnis - auch nicht für alle Jugendlichen geeignet: „Die Erfahrungen mit dieser Gruppe sprechen dafür, dass sich der ‚Heiße Stuhl‘ gut für Jugendliche eignet, die sich schnell provoziert fühlen, die auf Provokationen mit Gewalt reagieren und die bisher nicht in der Lage sind, Provokationen verbal oder durch Ignorieren abzuwehren“ (Grieger/ Schroer 2002, 76). Unabhängig von Persönlichkeitsmerkmalen angewendet, birgt der„Heiße Stuhl“ die Gefahr, eher kontraproduktiv die Persönlichkeit eines Jugendlichen anzugreifen. Wie wirkt es? Gewaltpräventive Projekte und Maßnahmen sind nicht nur im Hinblick darauf interessant, ob, und wenn ja, wen sie erreichen, sondern auch bezüglich dessen, wie sie wirken. Die Wirkung wird jedoch, darauf hat die Meta-Evaluation bereits hingewiesen, oftmals nur am Rande thematisiert. Aus der Zusammenschau verschiedener Evaluationsergebnisse lassen sich jedoch einige Erkenntnisse ableiten. Die Wirkung der Gewaltprävention wird im weitesten Sinne im Bereich des sozialen Lernens und der sozialen Kompetenzerhöhung verortet. Hierunter fallen nicht nur die Maßnahmen, die sich an Kinder und Jugendliche richten, sondern ebenso Trainings, die sich an Eltern und/ oder MultiplikatorInnen richten. Dabei geht es im primärpräventiven Bereich zunächst darum, dass Kinder und Jugendliche mit den Projekten und Programmen prosoziales Verhalten erlernen, das es ihnen ermöglicht, mit schwierigen Situationen, z. B. im Schulalltag, angemessen umzugehen. Die Bereitschaft, sich auf andere einzulassen und mit ihnen zu kooperieren, wird als eine wichtige Erklärungsvariable gesehen. Allerdings, das macht beispielsweise die Evaluation des Faustlos-Curriculums im Bereich Schule deutlich, wirkt das Programm nicht nur durch veränderte Aggressions- und Empathiewerte bei den einzelnen SchülerInnen, sondern auch durch ein verändertes Schulklima: „Konfliktsituationen auf dem Schulhof, in den Pausen, ließen sich einfacher regeln. Weiterhin 67 uj 2 | 2015 Evaluation von Prävention berichteten die Lehrkräfte eine Reduktion der Eskalationen aufgrund dieser gemeinsamen Regeln und der gemeinsamen Sprache“ (Bowi et al. 2008, 519). Zwar verweist die Evaluation zur Schulsozialarbeit darauf, dass Schulsozialarbeit auch ohne eine „objektive Verbesserung des Schulklimas“ gewaltpräventiv wirkt, folgert aber dennoch, dass „Schulsozialarbeit kriminalpräventiv noch effizienter werden [könnte; d. Verf.], wenn sie verstärkt Ursachen von Gewalt beeinflussen würde, insbesondere das Schulklima“ (Hermann et al. 2011, 145). Bei gewaltpräventiven Maßnahmen, Projekten oder Programmen, die sich an aggressiv auffällige oder bereits straffällig gewordene Jugendliche wenden, wird die Wirkung etwas spezifischer im Bereich der Konfliktlösungsfähigkeit verortet. In den Fällen, in denen die Projekte oder Programme wirken, werden offensichtlich zunächst auf kognitiver bzw. motivationaler Ebene Veränderungsprozesse angestoßen. Jugendliche lernen dadurch auch, gewaltorientierte Handlungsroutinen zu durchbrechen und sich alternative Strategien anzueignen. Das lernen sie, gerade in den Trainingskursen, über die Einhaltung von Regeln und durch die Interaktion mit anderen: „Positiv ist das Erlernen bestimmter Techniken der Konfliktbewältigung zu werten“ (Palloks 2004, 167). Das Ausmaß, in welchem Lernprozesse nicht nur die kognitive Ebene, sondern auch das tatsächliche Verhalten verändern, wird aus den vorliegenden Evaluationen nicht eindeutig ersichtlich. Dennoch lässt sich festhalten, dass in den meisten Untersuchungen vermutet wird, dass Maßnahmen zur Erhöhung der Konfliktlösungsfähigkeit ihre Wirkung mittels beider Mechanismen entfalten. So kommt die Evaluation zu einem sozialen Trainingskurs zu folgendem Ergebnis: „Neben den dargestellten Entwicklungen auf kognitiver Ebene werden anhand konkreter Konfliktbeschreibungen der Jugendlichen auch Veränderungen im Handeln deutlich“ (Grieger/ Schroer 2002, 71). Bei den sekundär- oder tertiärpräventiven Trainingskursen wird - zumindest anhand der meisten Evaluationen - deutlich, dass die Maßnahmen auch wirken, weil sich die Jugendlichen unter pädagogischer Begleitung intensiv mit den eigenen Problemlagen auseinandersetzen. Es sind aber auch die Erfolgserlebnisse, die Jugendliche im Rahmen verschiedener gewaltpräventiver Maßnahmen erfahren, die ihr Selbstwertgefühl stärken - und damit auch ihre Konfliktlösungsfähigkeit positiv beeinflussen: „Für die meisten Jugendlichen ist das Durchhalten des mehrere Monate dauernden Trainings bereits ein nicht zu unterschätzender persönlicher Erfolg, der sich auf das Selbstwertgefühl niederschlagen dürfte“ (Palloks 2004, 168). Warum wirkt es? Auch wenn in den meisten Evaluationen kaum systematisch nach förderlichen und hinderlichen Faktoren gefragt wird, lassen sich anhand der Auswertung einige zentrale Aspekte benennen. Eine zentrale Bedingung, unter der Projekte und Maßnahmen wirken können, ist - so profan es zunächst klingen mag - die Akzeptanz durch die Betroffenen und die Beteiligten. Sie müssen das Gefühl haben, dass das Projekt für sie hilfreich ist oder unterstützend wirkt. Das gilt nicht nur für die Jugendlichen selbst, sondern auch für die Umsetzenden. Gewaltpräventive Maßnahmen an Schulen, wie beispielsweise das Faustlos-Curriculum oder auch Projekte gegen Mobbing, werden offensichtlich dann engagiert von den Lehrkräften implementiert, wenn sie selbst einen positiven Effekt der Programme wahrnehmen: „Die Resonanz auf das Training war bei den durchführenden Lehrerinnen und Lehrern, Kindern und deren Eltern positiv. Die am Projekt beteiligten Lehrkräfte setzten das Curriculum nach Durchlaufen der drei Trainingsjahre erneut mit neuen Eingangsklassen in ihrem Unterrichtsalltag ein“ (Bowi et al. 2008, 519). Gerade für Jugendliche, die nach einer Straftat, auf richterliche Weisung oder im Strafvollzug, an Projekten teilnehmen, muss deut- 68 uj 2 | 2015 Evaluation von Prävention lich werden, dass es sich für sie „lohnt“. Dabei kann sich der Mehrwert auf eine Steigerung der individuellen sozialen Kompetenzen beziehen, aber auch auf konkrete Verbesserungen der eigenen Lebenslage (z. B. eine bessere Integration in den Arbeitsmarkt nach der Haftentlassung). Das zeigt die Evaluation des BASIS-Projekts im Strafvollzug der JVA Adelsheim. „Nach eigenen Angaben fühlen sich die entlassenen Strafgefangenen nach der Teilnahme an BASIS gestärkter im Hinblick auf ihr Leben in Freiheit und es sind ihnen zumindest konkrete Perspektiven aufgezeigt worden, wie sie ihr Leben straffrei weiterführen können“ (Pruin 2013, 711). Als weitere zentrale Bedingung lassen sich - zumindest für die Präventionsprojekte, die auf ein Mindestmaß an Kooperation angewiesen sind - gute Netzwerkstrukturen zwischen verschiedenen Akteuren benennen. Das gilt sowohl für Projekte im Bereich des Übergangsmanagements als auch für Projekte der Jugendhilfe: „Zwischen den Mitarbeiter/ innen von Polizei (Jugendsachbearbeiter/ innen) und IPP kann ein guter Austausch und gegenseitige Akzeptanz der Arbeit festgestellt werden, wenn diese, befördert durch eine räumliche Nähe, wiederholt klientenbezogen zusammenarbeiten“ (Wustmann et al. 2007, 55). Bei Projekten oder Maßnahmen, deren Zielgruppe tendenziell schlechter zu erreichen ist, wie beispielsweise Familien mit Migrationshintergrund, spielt die Einbindung von zentralen Einrichtungen sowie MultiplikatorInnen eine förderliche Rolle (Schenkel/ Schwenzer 2010, 38). Als ein eher hinderlicher Faktor haben sich in der Evaluation eines Sportprogramms die standardisierten Abläufe desselben herausgestellt, die mit den unterschiedlichen Erfordernissen vor Ort schlecht in Einklang zu bringen waren (Scheithauer/ Hess 2010, 81). Schlussfolgerung Die inhaltliche Analyse hat gezeigt, dass die untersuchten Projekte, Programme und Maßnahmen auf verschiedene Weisen ihre Ziele erreichen und/ oder gewaltpräventiv wirken. Es gelingt ihnen überwiegend, bestimmte Zielgruppen tatsächlich anzusprechen. Als förderlich zeichnet sich eine hohe Akzeptanz des Programms oder der Maßnahme bei den Betroffenen und Beteiligten ab, ebenso wie gute Kooperationsstrukturen. Wie ein Programm oder eine Maßnahme genau wirkt, bleibt - wie bereits benannt - ein wenig unklar. Daraus kann gefolgert werden, dass künftige Evaluationen sich, wenn möglich, verstärkt mit den Wirkmechanismen gewaltpräventiver Angebote beschäftigen sollten. Dr. Birgit Glock Camino - Werkstatt für Fortbildung, Praxisbegleitung und Forschung im sozialen Bereich gGmbH Boppstraße 7 10967 Berlin birgitglock@camino-werkstatt.de Literatur Baumgartner, P., Häfele, H., Maier-Häfele, K., (2002): E-Learning Praxishandbuch. Auswahl von Lernplattformen. Marktübersicht - Funktionen - Fachbegriffe. Studienverlag, Innsbruck/ Wien/ Bozen Bechmann, A. (1982): Nutzwertanalyse. In: Albers, W. (Hrsg.): Handwörterbuch derWirtschaftswissenschaft. Fischer, Stuttgart/ New York, 799 - 811 Beywl, W., Speer, S., Kehr, J., (2004): Wirkungsorientierte Evaluation im Rahmen der Armuts- und Reichtumsberichterstattung. Eine Perspektivstudie. In: www. bmas.de/ SharedDocs/ Downloads/ DE/ PDF-Publika tionen/ forschungsprojekt-a323_wirkungsorientier te_evaluation_im_rahmen_der_armutsberichter stattung.pdf? __blob=publicationFile, 17. 12. 2013 69 uj 2 | 2015 Evaluation von Prävention Bliesener, T., Kindlein, A., Riesner, L., Schulz, J. F., Thomas, J. (2010): Eine Prozess‐ und Wirkungsevaluation polizeilicher Konzepte zum Umgang mit jungen Mehrfach‐/ Intensivtätern in NRW. Abschlussbericht. In: www.polizei-nrw.de/ media/ Dokumente/ Behoer den/ LKA/ CAU_Internet_%20Abschlussbericht_MIT_ lang.pdf, 17. 12. 2013 Borković, V. (2010): Evaluation kommunaler Sportprojekte zur sozialen Integration von Heranwachsenden. Universitätsverlag, Potsdam Bowi, U., Ott, G., Tress, W., (2008): Faustlos - Gewaltprävention in der Grundschule. Praxis der Kinderpsychologie und Kinderpsychiatrie 57, 509 - 520 Bundesministerium des Inneren (Hrsg.) (2013): Handbuch für Organisationsuntersuchungen und Personalbedarfsermittlung. In: www.orghandbuch.de, 17. 12. 2013 Caspari, A. (2010): Lernen aus Evaluierungen. Meta- Evaluation & Evaluationssynthese von InWEnt-Abschlussevaluierungen 2009. In: www.giz.de/ de/ down loads/ giz2010-de-meta-evaluation-synthese-lernenaus-evaluierungen.pdf, 11. 12. 2013 Cooksy, L., Caracelli, V. J. (2005): Quality, Context and Use. Issues in Achieving the Goals of Meta-Evaluation. American Journal of Evaluation 26, 31 - 43 Cooper, H., Hedges, L. V. (2009): Research Synthesis as a Scientific Process. In: Cooper, H., Hedges, L. V., Valentine, J. C. (Hrsg.): The Handbook of Research Synthesis and Meta-Analysis. Russell Sage Foundation, New York, 3 - 16 DeGEval (2008): Standards für Evaluation. In: www.alt. degeval.de/ calimero/ tools/ proxy.php? id=19074, 11. 12. 2013 Glock, B., Karlizcek, K. M. (2014): Meta-Evaluation, Evaluationssynthese und Entwicklung von Bewertungskriterien. In: www.jugendgewaltpraevention.de/ sites/ default/ files/ Metaevaluation_und_Evaluations kriterien.pdf, 10.10.2014 Grieger, K., Schroer, M., (2002): GAG - Was ist geiler als Gewalt? Anti-Aggressions-Trainings für gewaltbereite Jugendliche. Evaluation eines Modellprojekts. Berlin Hermann, D. (2008): Zur Wirkung Kommunaler Kriminalprävention. Eine Evaluation des Heidelberger Modells. Trauma & Gewalt 2, 220 - 233 Hermann, D., Dölling, D., Fischer, S., Haffner, J., Parzer, P., Resch, F. (2011): Schulsozialarbeit contra Gewalt - eine Evaluationsstudie. In: Bannenberg, B., Jehle, J.-M. (Hrsg.): Gewaltdelinquenz, lange Freiheitsentziehung, Delinquenzverläufe. Forum, Mönchengladbach, 129 - 146 Körner, J. (2006): Wirksamkeit ambulanter Arbeit mit delinquenten Jugendlichen: Erste Ergebnisse einer vergleichenden Studie. Zeitschrift für Jugendkriminalrecht und Jugendhilfe 17, 267 - 275 Landesinstitut für Lehrerbildung und Schulentwicklung der Behörde für Schule und Berufsbildung Hamburg (2009): Mobbing in der Schule. Evaluationsbericht. In: http: / / li.hamburg.de/ contentblob/ 3852762/ data/ pdf-mobbing-evaluationsbericht.pdf, 17. 12. 2013 Palloks, K. (2004): Cool sein auf Kommando? Konfrontative Pädagogik in der Praxis. Evaluierung einer Umsetzung des Projekt-Formates „Coolness-Training“. Unsere Jugend 56, 158 - 170 Peters, M., Zelewski, S. (2004): Möglichkeiten und Grenzen des „Analytical Hierarchy Process“ als Verfahren der Wirtschaftlichkeitsanalyse. Zeitschrift für Planung und Unternehmenssteuerung 15, 295 - 324 Pruin, I. (2013): Übergangsmanagement im Jugendstrafvollzug: Die Evaluation des Projekts BASIS in der JVA Adelsheim. In: Dölling, D., Jehle, J.-M. (Hrsg.): Täter, Taten, Opfer. Grundlagenfragen und aktuelle Probleme der Kriminalität und ihrer Kontrolle. Forum, Mönchengladbach, 691 - 714 Scheithauer, H., Hess, M. (2010): fairplayer.sport - Soziale Kompetenzen spielerisch fördern. In: Berliner Forum Gewaltprävention Nr. 41: Evaluation und Qualitätsentwicklung in der Gewalt- und Kriminalitätsprävention, 76 - 84 Schenkel, K., Schwenzer, V. (2010): Evaluation der Modellprojekte der Landeskommission Berlin gegen Gewalt zur Steigerung der Erziehungskompetenz von Eltern mit Migrationshintergrund und zur Steigerung der Konfliktlösungskompetenz von männlichen Kindern und Jugendlichen mit Migrationshintergrund. In: Berliner Forum Gewaltprävention Nr. 43, 4 - 64 Schwenzer, V. (2010): TESYA family. Tandem-Trainings für aggressiv auffällige Jugendliche und ihre Eltern. Berlin Spiel, C., Strohmeier, D., Schiller, E. M., Stefanek, E., Schultes, M. T., Hoffmann, C. (2011): WiSK Programm: Förderung sozialer und interkultureller Kompetenzen in der Schule. WiSK Evaluationsstudie. In: www. gemeinsam-gegen-gewalt.at/ resources/ files/ 812/ wisk-evaluation-endversion.pdf, 18. 12. 2013 Stufflebeam, D. L. (1999): Program Evaluations Metaevaluation Checklist. Western Michigan University. In: www.wmich.edu/ evalctr/ archive_checklists/ pro gram_metaeval.pdf, 11. 12. 2013. Stufflebeam, D. L. (2001): The Metaevalution Imperative. American Journal of Evaluation 22, 183 - 209 70 uj 2 | 2015 Evaluation von Prävention Stufflebeam, D. L. (2007): CIPP Evaluation Model Checklist. Second Edition. In: www.wmich.edu/ evalctr/ ar chive_checklists/ cippchecklist_mar07.pdf, 11. 12. 2013 U. S. General Accounting Office (1992): The Evaluation Synthesis. In: www.gao.gov/ special.pubs/ pemd1012. pdf, 17. 12. 2013 UNIFEM Evaluation Unit (2009): Meta-Evaluation. UNI- FEM Evaluations 2004 - 2008. In: http: / / gate.unwomen. org/ unifem/ evaluationadmin/ manageevaluation/ viewevaluationdetail.html? evalid=4592, 11. 12. 2013 Widmer, T. (1996): Meta-Evaluation. Kriterien für die Bewertung von Evaluationen. Paul Haupt, Bern/ Stuttgart/ Wien Wustmann, C., Stiehler, S., Seyfarth, P., Wendt, D. (2007): Evaluierung des Interventions- und Präventionsprojektes für straffällig gewordene Kinder, Jugendliche und Heranwachsende der Jugendgerichtshilfe Dresden (IPP). In: http: / / jugendgerichtshilfe.dresden.de/ media/ pdf/ jgh/ Gg7_Ergebnisbericht_Evaluierung. pdf, 13. 12. 2013