2 uj 1 (2009) Unsere Jugend, 61. Jg., S. 2 - 13 (2009) © Ernst Reinhardt Verlag München Basel heimerziehung (Wirkungs)Forschung in der Heimerziehung Michael Macsenaere „Der Arroganz der Forscher entspricht die Ignoranz der Praktiker.“ Falls diese Aussage für die Heimerziehung(sforschung) zuträfe, käme es kaum zu einem Austausch zwischen Wissenschaft und Praxis. Dabei kann die Forschung - trotz aller „Forschungsmoden“ - viele für die Heimerziehungspraxis relevante Befunde zurückmelden. Ein solches Wissen wäre im Alltag zur Qualitätsentwicklung, aber auch zur Legitimation der eigenen Arbeit nutzbar. Zu dem breiten Feld der Heimerziehung liegt - verstreut über mehrere Jahrzehnte - eine Vielzahl von Forschungsstudien vor. Dabei kamen völlig unterschiedliche Methoden zum Einsatz: von qualitativen Einzelfallstudien bis hin zu Evaluationen, die sich mit fünfstelligen Stichprobengrößen über die gesamte Bundesrepublik erstrecken. In diesem Artikel soll der Versuch unternommen werden, einen Überblick über diese Studien und die zugrunde liegenden Forschungsfragen und -strömungen zu geben. Die vorliegenden Erfahrungen bilden die Grundlage, um den Nutzen und die Chancen, aber auch die Grenzen und Risiken von Heimerziehungsforschung aufzuzeigen. Daraus werden resümierend Empfehlungen für die zukünftige Forschung abgeleitet. Eine differenzierte Darstellung der Ergebnisse kann hier allerdings aus Platzgründen nicht erfolgen. Dem Artikel liegt die Sichtung von weltweit über 200 Jugendhilfe-Studien zugrunde, die zurzeit zur Erstellung eines Reviews ausgewertet werden. Für den vorliegenden Beitrag wurden daraus ca. 100 Studien ausgewählt, die sich in Deutschland mit Heimerziehung befassen. Historischer Überblick Die Vielzahl an vorliegenden Studien legt den Schluss nahe, dass Heimerziehung im Vergleich zu anderen Bereichen (z. B. Behindertenhilfe) und anderen Hilfen zur Erziehung gut erforscht scheint. Diese Vermutung wird durch eine Reihe von wissenschaftlichen Befunden unterstützt, die mittlerweile Eingang in die Praxis gefunden haben. Bis in die 70er-Jahre des vergangenen Jahrhunderts war Forschung in der Heimerziehung kaum existent. Verstreut über mehrere Jahrzehnte liegen lediglich einzelne Untersuchungen vor, so z. B. eine historische Arbeit von Scherpner (1966). Ab Mitte der 70er-Jahre liegen ei- Prof. Dr. Michael Macsenaere Jg. 1959; Geschäftsführender Direktor der IKJ Institut für Kinder- und Jugendhilfe gGmbH uj 1 (2009) 3 heimerziehung nige Arbeiten zum „labelling approach“ (z. B. Herringer 1979; Keckeisen 1974; Schumann 1975) und zu spezifischen Organisationsformen von Heimerziehung (z. B. Fühne u. a. 1979; Hochmair u.a. 1976; Piorkowski-Wühr 1978) vor. Während bis Anfang der 80er-Jahre ein Mangel an empirischen Arbeiten herrscht, ändert sich dies ab Mitte der 80er-Jahre. In dieser Zeit wird eine Reihe von Studien zu unterschiedlichen Aspekten der Heimerziehung durchgeführt, so z. B. zur Elternarbeit (Conen 1990), zur Verortung von Heimerziehung im Sozial- und Gesundheitswesen (Eiger/ Jordan/ Münder 1987; Gintzel/ Schone 1989) und zum Personal. Es liegen einige Arbeiten zu verschiedenen Angebotsstrukturen von Heimerziehung vor. So untersuchten Birtsch, Eberstaller und Halbleib (1980) Außenwohngruppen, die Forschungsgruppe Klein-Zimmern (1992) Familienwohngruppen, Spindler (1991) geschlossene Unterbringung, während Niederberger (1988) verschiedene Formen der Fremdplatzierung miteinander verglich. Auch das pädagogische Personal von Heimen rückte in den Fokus der ForscherInnen: Brombach und Schäuble (1984) untersuchten die Problematik älterer HeimerzieherInnen, Schoch (1989) befasste sich mit der Personalfluktuation und Mitransky (1990) mit der Belastung von Erziehern im Heimalltag. Einen differenzierten Einblick in die Leistungsfelder und Organisationsstrukturen von Heimerziehung gibt die Arbeit der Planungsgruppe Petra (1987). Einige Studien richteten ihren Blick auf die Klientel und ihre z. T. ambivalenten Erfahrungen innerhalb der Heimerziehung: Freigang (1986) befasste sich mit dem Problem des Abschiebens und Verlegens, Landenberger und Trost (1988) mit den Ausdrucks- und Bewältigungsformen von Kindern in der Heimgruppe und Lambers (1996) mit Heimerziehung als kritischem Lebensereignis. Die Heimerziehungsforschung der 90er- Jahre war durch zwei methodologische Besonderheiten geprägt: Einerseits nahm der Anteil empirischer Arbeiten mit quantitativer Ausrichtung zu, in wenigen Fällen wie z. B. der Jugendhilfe-Effekte-Studie (JES) sogar gekoppelt mit anspruchsvolleren quasiexperimentellen Untersuchungsdesigns. Andererseits widmeten sich die ForscherInnen verstärkt der Frage, welche Wirkungen Heimerziehung aufweist. Bürger (1990) analysierte mit einem Prä- Post-Design das Legalverhalten und die schulische bzw. berufliche Qualifikation von Heimklientel, Hebborn-Brass (1991) untersuchte mit gleichem Design die durch Heimerziehung erreichten Veränderungen und die hierfür verantwortlichen Bedingungen. Das Forschungsprojekt Leistungen und Grenzen der Heimerziehung (JuLe) hat das Verdienst, die erste Wirkungsstudie zu sein, die überregional drei Hilfearten (§§ 32, 34 und 41 SGB VIII) berücksichtigte (BMFSFJ 1998). Die multizentrische Jugendhilfe-Effekte-Studie (JES) war die bisher aufwendigste Wirkungsstudie (Schmidt u. a. 2003). In einem ersten Schritt wurden Instrumente zur Messung von Struktur-, Prozess- und vor allem Ergebnisqualität entwickelt und testtheoretisch überprüft. Diese wurden dann in einem quasiexperimentellen Untersuchungsdesign eingesetzt, um fünf Hilfearten (§§ 28, 30, 31, 32 und 34 SGB VIII) in fünf Bundesländern vergleichend zu untersuchen. Auf der Basis der JES-Instrumente wurden bis zum aktuellen Zeitpunkt eine Vielzahl von Studien (s. u.) durchgeführt. Nachdem die o. g. Studien belegen konnten, dass ein Großteil der stationären Jugendhilfen positive Effekte aufweist (je nach Studie zwischen 60 und 75 %), verliert die in den 90er-Jahren noch mit Äng- 4 uj 1 (2009) heimerziehung sten belegte Frage, ob bzw. in welchem Umfang Effekte erreicht werden, mittlerweile an Bedeutung. Die gegenwärtige Forschung bewegt sich weg von globalen hin zu differenzierten Fragestellungen, so z. B. welche Effekte bei welcher Klientel in welcher Hilfeart und welchem pädagogischen Setting erreicht werden und was die hierfür verantwortlichen Faktoren sind. So beschäftigen sich aktuelle Studien mit folgenden Themenschwerpunkten: • Indikation: EST! - eine Kontrollgruppenstudie der Sozialpädagogischen Diagnosetabellen (Macsenaere/ Paries/ Arnold 2008), WOS - Wirkungsorientierte Steuerung (Macsenaere/ Paries 2006) • Wirkfaktoren: EVAS - Evaluation erzieherischer Hilfen (Macsenaere/ Herrmann 2004, Schrodter/ Ziegler 2007, Wolf 2007) • Spezialgruppen: Therapeutische Übergangshilfe (Caritas Rheine 2000), Kick-Off-Gruppen (Scholten u. a. 2005), Kinderdorf-Effekte-Studie (Klein u. a. 2003) • strukturelle Rahmenbedingungen: INTE- GRA (IGFH, 2003), SEH (Kurz-Adam/ Sumser/ Frick 2008), Casemanagement (CM4JU) (Löcherbach u. a. 2008) • Ökonomie und Kosten-Nutzen-Analysen: Kosten-Nutzen-Analyse von Heimerziehung (Roos 2005), Kosteneffektivität sozialräumlicher Erziehungshilfen (SEH) (Kurz- Adam/ Sumser/ Frick 2008) • Regionalvergleiche: EVAS auf der Basis einer Stichprobengröße von über 25.000 (IKJ 2008) • interdisziplinäre Ansätze: Bundesmodellprogramm Wirkungsorientierte Jugendhilfe, CM4JU - Computergestütztes Casemanagement (Löcherbach u. a. 2008) • Kontrollgruppenstudien: EST! (Macsenaere/ Paries/ Arnold 2008); CM4JU (Löcherbach u. a. 2008) • Katamnesen: Erfolg und Misserfolg in der Heimerziehung (LWV Baden 2000, Stohler 2005) Einen vertiefenden Überblick über die Heimerziehungsforschung der vergangenen Jahrzehnte ermöglichen die Artikel von Kiehn (1983), Lambers (1995) und Trede (1993). Einblick in die Geschichte von Heimerziehung geben die Arbeiten von Knab (1999), Kuhlmann (1985), Münchmeier (1981), Scherpner (1966) und Schrapper/ Sengling (1985). Grenzen, Beschränkungen und Risiken von Forschung In den letzten Jahren ist zunehmend ein Trend ersichtlich, Forschung und deren Ergebnisse von Einrichtungen und Jugendämtern verstärkt für eigene Qualitätsentwicklungsprozesse, aber auch zur Legitimation der eigenen Arbeit zu nutzen. Die oben beschriebenen Studien weisen einerseits eine Vielzahl von hochinteressanten Ergebnissen auf. Andererseits belegen sie aber auch die Grenzen von Forschung: Begrenzte Erkenntnisse pro Studie: Keiner Studie kann es gelingen, zuverlässig und differenziert eine große Bandbreite an Fragestellungen zu bearbeiten. Es ist sogar regelrecht ein Gütekriterium für methodisch hochwertige Untersuchungen, wenn sie ihren Untersuchungsbereich auf wenige Fragestellungen fokussieren. Dies hat aber zur Folge, dass jede hochwertige Studie nur zu einem relativ schmalen Bereich Aussagen treffen kann. Daher ist es bei der Planung einer Untersuchung unabdingbar, die auf viele Studien verteilten bisherigen Befunde zu recherchieren und für die eigene Untersuchung miteinzubeziehen. Ergebnis nicht mit Erkenntnis gleichzusetzen: Wie nicht anders zu erwarten, decken sich viele Ergebnisse der Heimerziehungsforschung mit unseren Erfahrungen und Hypothesen. Daher erscheinen manche Befunde trivial, da sie Bekanntes abbilden und somit nicht zu einer grundlegend neuen Erkenntnis führen. Trotz dieser uj 1 (2009) 5 heimerziehung scheinbaren Banalität stellen auch empirisch abgesicherte Ergebnisse, die ohne ausgeprägten Neuigkeitscharakter daherkommen, einen gewissen Wert dar. Denn in nicht wenigen Fällen werden unsere subjektiven Empfindungen und die daraus abgeleiteten Hypothesen durch empirische Untersuchungen widerlegt. Eingeschränkte Kenntnis und Nutzung der Ergebnisse: Ein Großteil der Ergebnisse aus den oben beschriebenen Studien fand keinen Eingang in Politik und Praxis. Mögliche Gründe für diesen mangelhaften Praxistransfer von Forschungsergebnissen können unterschiedlicher Art sein. Die Bandbreite reicht von einer für die Praxis nicht verständlichen Wissenschaftssprache über einen sich im Detail verlierenden Berichtsstil, einem grundsätzlichen Misstrauen der Praxis gegenüber Forschung und Statistik, begrenzten zeitlichen Ressourcen zur Lektüre der Studien bis hin zu unbequemen Ergebnissen. Daraus resultierend ist allen ForscherInnen, denen an einer Nutzung ihrer Ergebnisse gelegen ist, zu empfehlen, neben einer wissenschaftlichen Berichterstattung auch eine für PraktikerInnen geeignete Ergebnisdarstellung zu wählen. Sie sollte an den für die Praxis relevanten Fragestellungen ansetzen, eine für NichtwissenschaftlerInnen verständliche Terminologie wählen, die Ergebnisse bündeln und konkrete Empfehlungen für die alltägliche Arbeit benennen. Ein gelungenes Beispiel hierfür stellt die JuLe-Studie dar: Auch über zehn Jahre nach der Veröffentlichung des Abschlussberichtes ist vielen der undifferenzierte, aber gerade dadurch markante Satz „über 70 % der Hilfen sind erfolgreich“ noch in Erinnerung. Missverstehen und Missbrauch von Ergebnissen: Forschungsergebnisse können Schaden anrichten, wenn sie unkommentiert veröffentlicht werden. Selbst mit Kommentierung können die Befunde von Politik und Praxis nur oberflächlich rezipiert werden, was zu gravierenden Fehlinterpretationen führen kann. So sind z. B. seit der JES-Studie die Erziehungsbeistandschaften aufgrund ihrer scheinbar geringen Effekte ungerechtfertigt mit einem gewissen Makel behaftet. Dass diese geringe Effektivität im Zusammenhang mit kritischen Rahmenbedingungen in manchen Regionen stand, wurde von vielen NutzerInnen dieser Ergebnisse übersehen. Dieses Beispiel ist typisch für die Jugendhilfeforschung, da hier hochkomplexe Konstellationen untersucht werden, die durch ein Zusammenwirken vieler Variablen charakterisiert sind. Dies hat multikausale Erklärungen zur Folge, die die Aufnahmekapazität der flüchtigen LeserInnen schnell überfordern können. Kritischer als ein solches Missverstehen ist der Missbrauch von Ergebnissen für eigene Interessen. So besteht die Gefahr, dass nur die erwünschten Ergebnisse herausgegriffen werden, während Unerwünschtes nicht berücksichtigt wird. Diese Selektion kann durch eine verfälschte Wiedergabe oder gar erfundene Ergebnisse noch überboten werden. Gegen dieses Risiko der Selektion oder Fälschung schützt nur eine umfassende, für den Nichtwissenschaftler aber kaum zu leistende Kenntnis der Forschungsbefunde. Sinn und Nutzen der Forschung zur Heimerziehung Macht es in Anbetracht der beschriebenen Grenzen oder gar Risiken denn überhaupt Sinn, Heimerziehung zu beforschen, und welcher Nutzen kann daraus für die Praxis gezogen werden? Nachfolgend werden einige Nutzenaspekte benannt und mit konkreten Beispielen belegt, in denen Forschungsergebnisse Eingang in die Praxis gefunden haben. 6 uj 1 (2009) heimerziehung Das Wissen um die IST-Situation: Der kritische empirische Blick auf die Heimerziehung kann das subjektive Wissen des Praktikers um seine IST-Situation ergänzen und differenzieren. Nicht selten kommt es sogar zu einem Widerspruch zwischen der eigenen Wahrnehmung und den empirischen Rückmeldungen und damit zur Chance eines Erkenntnisgewinns. Grundsätzlich kann Heimerziehungsforschung die IST-Situation auf allen Ebenen erfassen und rückmelden - vom Einzelfall über Heimgruppen bis hin zur gesamten Einrichtung und zur Region bzw. zum Land. Dieses empirisch abgesicherte Wissen um die eigene aktuelle Situation - sei es auf Strukturen, Prozesse oder auch auf Wirkungen bezogen - nutzen viele Einrichtungen und manche Jugendämter, um ihre Hilfen schrittweise zu optimieren. Bis Ende der 90er-Jahre wurden hierfür bevorzugt Strukturmerkmale, aber auch einzelfallbezogene Prozessmerkmale wie die Zufriedenheit von KlientInnen und die Hilfedauer herangezogen. In den letzten Jahren finden immer stärker Effektivitätsaspekte Eingang in die Praxis, so z. B. Zielerreichungsgrade und Wirkungsaussagen, die auf Einzelfallebene z. T. sogar für die halbjährliche Hilfeplanung genutzt werden. Das Aufzeigen von IST-SOLL-Diskrepanzen: Die von der Heimerziehungsforschung rückgemeldete IST-Situation kann als Grundlage eines Vergleiches mit einem erwünschten Zustand, einer sog. SOLL- Situation, dienen. Diese SOLL-Situation kann entweder durch einen selbst definierten Zielwert bestimmt werden oder durch einen statistischen Kennwert (z. B. Mittelwert, 75 %-Quartil oder 90 %-Perzentil) einer Vergleichsgruppe ermittelt werden. Dieses Vorgehen setzt voraus, dass eine regionale, besser noch überregionale Stichprobe zum Vergleich herangezogen werden kann. Diese Vergleichsoption war Ende der 90er-Jahre ein zentraler Grund, dass sich viele Einrichtungen zu einer gemeinsamen Evaluation erzieherischer Hilfen (EVAS) zusammenschlossen. Damit können sie die Strukturen, Prozesse und vor allem die Ergebnisse ihrer Einrichtung denen vergleichbarer Einrichtungen gegenüberstellen. Dieses Wissen findet einzelfallbezogen Eingang in die Hilfeplanung, dient als kritische Reflexion des pädagogischen Handelns im Alltag und wird für konzeptionelle Änderungen oder Neuausrichtungen genutzt. In vielen Fällen haben Einrichtungen zurückgemeldet, dass sie erst durch diesen überregionalen Vergleich wissen, „wo sie stehen“ und welche Defizite und Stärken sie aufweisen. Einige Einrichtungen berichteten von regelrechten Überraschungen: So schilderten beispielsweise Fachkräfte einer großen hessischen Einrichtung, dass ihnen erst durch den Vergleich bewusst wurde, mit welch schwieriger Klientel sie arbeiten. Eine andere Einrichtung wurde durch die Rückmeldung der Ergebnisse darauf aufmerksam, dass in ihren Intensivgruppen weit überdurchschnittliche Effekte erreicht werden, während sich ihre Regelgruppen „nur“ im durchschnittlichen Bereich bewegen. Diese Ergebnisse fanden Eingang in die Qualitätsentwicklungsprozesse beider Einrichtungen. Das Aufzeigen von Veränderungen: Eine empirische Begleitung der Hilfeverläufe bildet Veränderungen ab. Dies kann zur Steuerung des Einzelfalles, der Einrichtung, aber auch der Politik genutzt werden. So erkannte eine westdeutsche Einrichtung auf der Basis von EVAS, dass sie im ersten Halbjahr 2007 mit einer wesentlich schwierigeren Klientel belegt wurden als noch 2006. Gleichzeitig schnellten die Abbrüche innerhalb des ersten Hilfe- Halbjahres nach oben - bei gleichzeitigem Einbruch der Effektivität. Die Einrichtungsleitung reagierte daraufhin sofort mit uj 1 (2009) 7 heimerziehung einer konzeptionellen Änderung. Schon im ersten Monat der Heimunterbringung - und damit deutlich früher als zuvor - wurden intensivpädagogische Methoden eingesetzt und ggf. durch heilpädagogische und psychotherapeutische Methoden ergänzt. Auf Einzelfallebene findet zunehmend ein aktuelles Ergebnis aus der Wirkungsforschung Eingang in die Praxis: Schon nach einem halben Jahr ist es mit einer hohen Zuverlässigkeit möglich, den späteren Erfolg bzw. Misserfolg der Hilfe zu prognostizieren (s. Abb. 1). Fallverläufe mit einem positiven Effektindex entwickeln sich in der Regel auch in der Folge weiter positiv. Umgekehrt sind negative Effektwerte schon nach sechs Monaten sehr kritisch zu bewerten und sollten eine Reflexion und ggf. Umsteuerung nach sich ziehen, um einer weiteren sukzessiven Verschlechterung entgegenzuwirken. Dieses Wissen nutzen zunehmend Einrichtungen und Jugendämter für ihre Hilfeplangespräche zur kritischen Reflexion des bisherigen Verlaufs. Im Falle eines positiven Effekte-Index kann dann der begonnene Weg stabil weitergeführt werden (obere Kurve). Im Falle eines negativen Effekte-Index und der daraus resultierenden negativen Prognose besteht hingegen sofortiger Handlungsbedarf (untere Kurve). Einrichtungen und Jugendämter, die mit diesem prognostischen Frühwarnsystem arbeiten, können damit Fehlentwicklungen frühzeitig erkennen und korrigieren. Wissen um Wirkfaktoren In den oben zitierten Studien konnte eine Reihe von Faktoren bestimmt werden, die eine hohe Effektivität von Heimerziehung begünstigen. Eine stärkere Berücksichtigung der nachfolgend beschriebenen Wirkfaktoren könnte nicht unerheblich zur Qualitätsentwicklung beitragen. • Ausgangslage: Die Erfolgsaussichten sind positiv, wenn es gelingt, möglichst frühzeitig auf einen Hilfebedarf zu reagieren. Mit zunehmendem Alter und einer ausgeprägteren, verfestigten Symptomatik wird die Wahrscheinlichkeit eines positiven Abschneidens hingegen reduziert. Abb. 1: Steuerung auf Einzelfallebene (Institut für Kinder- und Jugendhilfe) 8 uj 1 (2009) heimerziehung • Vermeidung von Jugendhilfekarrieren: Je mehr Hilfen in Anspruch genommen wurden, desto höher ist die „Änderungsresistenz“ des jungen Menschen, d. h. desto geringer ist die zu erwartende Effektivität. Es gilt daher, die durchaus nicht unüblichen Jugendhilfekarrieren zu vermeiden, indem frühzeitig eine adäquate Hilfe gewährt wird. Nicht die billigste, sondern nur die geeignete Hilfe kann effektiv und damit langfristig effizient sein. • Sozialpädagogische Diagnostik: In Hinblick auf die Arbeit im Jugendamt erweist sich eine systematisierte sozialpädagogische Diagnostik als sinnvoll, wie sie z. B. mit den bayerischen Sozialpädagogischen Diagnose-Tabellen vorliegt. Das Nutzen einer einheitlichen Fachsprache ist zudem eine Grundlage zunehmender Transparenz. • Indikation: Eine zentrale Aufgabe des Jugendamtes ist die sogenannte Zuweisungsqualität, also die Kunst, eine geeignete bzw. indizierte Hilfe auszuwählen. Effektestudien (EVAS, EST! , JES) zeigen, dass es den ASD- Fachkräften in immerhin der Hälfte der Fälle gelingt, die am ehesten geeignete Hilfe zu wählen. Dem stehen aber auch ca. 30 % der Fälle gegenüber, bei denen eine nicht geeignete Hilfe gewählt wird - z. T. auch aus Kostengründen. Hier besteht in den nächsten Jahren noch Qualitätsentwicklungsbedarf, um das inzwischen vorliegende Wissen für die Praxis der Jugendämter nutzbar zu machen. Ein erfolgversprechender Weg sind die o. g. Diagnose-Tabellen, die zu einer verbesserten Indikation beitragen. • Mitarbeiterqualifikation: Wird hier ein Minimalstandard unterschritten, steigt die Wahrscheinlichkeit für z. T. drastische Misserfolge an. • Ressourcenorientierung: Eine stärkere Ressourcenorientierung im Jugendamt und in den Einrichtungen begünstigt die Effektivität wie auch die Nachhaltigkeit der erreichten Effekte. Die Hilfen, bei denen zumindest ein Hilfeplanziel die Förderung einer Ressource anstrebt, erreichen stärkere Effekte als Hilfen mit rein defizitorientierten Zielen. • Kooperation: Als zentraler Wirkfaktor pädagogischer Arbeit zeigt sich die Kooperation mit Eltern und/ oder jungem Menschen. Gelingt diese aktive Mitarbeit im Rahmen der Hilfe, verbessert sich die Aussicht auf Erfolg erheblich - unterbleibt sie, ist ein Misserfolg der Hilfe hochwahrscheinlich. Eine notwendige, aber nicht hinreichende Voraussetzung ist die Partizipation von Eltern und jungem Menschen, die jedoch ergänzt werden muss um das stetige Bemühen, eine gelingende Hilfe zur Selbsthilfe zu schaffen. Qualitätsentwicklung - Legitimation - Wissensvorsprung Forschungsergebnisse können in der Praxis der Heimerziehung mit unterschiedlichen Zielsetzungen genutzt werden. Fachlich am wertvollsten ist es, die Ergebnisse im Sinne eines ständigen Lern- und Qualitätsentwicklungsprozesses einzusetzen. So können beispielsweise die Bedingungen einer gelingenden Jugendhilfe transparent gemacht und deren Eignung für die eigene Praxis reflektiert werden. Mindestens so sinnvoll ist es aber, aus den kritischen Ergebnissen, also aus einer misslingenden Jugendhilfe, zu lernen. Neben dieser Nutzung für Qualitätsentwicklungs- und Qualitätsmanagement-Prozesse können Forschungsergebnisse zur Legitimation der eigenen Arbeit bzw. der Jugendhilfe insgesamt verwendet werden. Insbesondere für Leitungskräfte von Einrichtungen und Jugendämtern kann die offensive Nutzung ausgewählter Befunde wertvoll sein. Aus wissenschaftlicher Sicht ist es allerdings bedenklich, dass hierfür in der Regel nur auf positive Ergebnisse zurückgegriffen wird und kritische Befunde unerwähnt bleiben. Eine intensive Beschäftigung mit aktuellen Forschungsergebnissen führt in der Regel zu einem Wissensvorsprung, der auch zu einem Argumentationsvorsprung und in dieser Funktion offensiv eingesetzt werden kann. uj 1 (2009) 9 heimerziehung Empfehlungen für zukünftige Forschungsvorhaben Aus den Erfahrungen mehrerer Jahrzehnte der Heimerziehungsforschung können einige Empfehlungen für zukünftige Forschungsvorhaben abgeleitet werden. Fokussieren statt verzetteln: Zu Beginn des Forschungsprozesses sollten die zentralen Fragestellungen und Hypothesen formuliert werden. Es muss also geklärt werden, welche Themen und dahinterstehenden Qualitätsdimensionen eine besondere Relevanz aufweisen. Gerade im Bereich der angewandten Forschung ist es hilfreich zu reflektieren, wofür die zukünftigen Untersuchungsbefunde genutzt werden sollen. Um ein Verzetteln und in der Folge kaum brauchbare Ergebnisse zu vermeiden, ist es sinnvoll, die Untersuchung auf wenige Fragestellungen zu fokussieren. Eine solche hypothesengeleitete Untersuchungsplanung kann zudem helfen, den Aufwand zu reduzieren und sog. Datenfriedhöfe, also größere, zumeist nicht reliable und nicht nutzbare Datenmengen, zu vermeiden. Testgütekriterien und Evaluationsstandards beachten: Eine wirkungsorientierte Steuerung kann nur mit einer ausreichenden Güte der zugrunde liegenden Daten gelingen. Daher sollten die klassischen Testgütekriterien Objektivität, Reliabilität und Validität überprüft und schrittweise verbessert werden. Die Erfahrungen mit EVAS zeigen z. B. eine zufriedenstellende Interrater-Reliabilität im Bereich Ressourcendiagnostik und gute Werte im Bereich Defizitdiagnostik. Darüber hinaus sollten die vier Evaluationsstandards der DeGEval (www.degeval.de) beachtet werden: Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit. Intendierte Wirkungen und Nebenwirkungen erfassen: Auf den ersten Blick scheint es völlig ausreichend zu sein, die beabsichtigten, intendierten Wirkungen einer Hilfe zu erfassen. Diese Wirkungen zu erreichen ist schließlich das Ziel der Hilfen. Und dennoch greift eine solche Untersuchungsplanung viel zu kurz, da jede Hilfe nicht nur beabsichtigte Wirkungen erzielt, sondern in der Regel auch viele Nebenwirkungen, die erheblichen Einfluss auf den Erfolg oder Misserfolg der Intervention haben. Eine auf die intendierten Wirkungen beschränkte Evaluation kann beispielsweise zu dem Schluss kommen, dass eine Hilfe höchst erfolgreich war, da sämtliche Ziele, wie etwa die Reduzierung von sozialer Unsicherheit, erreicht wurden. Falls auch die nicht intendierten Wirkungen dieser Hilfe untersucht worden wären, hätte sich in diesem Beispiel ein differenziertes Bild ergeben: Ein delinquentes Verhalten, das sich jenseits der Hilfeplanziele neu entwickelt hätte, wäre miterfasst worden und hätte die Bewertung des Hilfeerfolges relativiert. Um zu einer validen Beurteilung der Wirkungen einer Intervention zu gelangen, ist somit die Erfassung der intendierten wie auch der nicht intendierten Wirkungen unabdingbar. Dies geschieht am sinnvollsten durch eine sozialpädagogische Diagnostik, die zu mehreren Zeitpunkten Ressourcen und Defizite beim jungen Mensch und bei dessen Familie berücksichtigt. Selbstverständlich müssen jenseits dieser Diagnostik sämtliche ergebnisrelevanten harten Fakten, wie z. B. Schulnoten, Schulabschlüsse, Straftaten/ Verurteilungen, erfasst werden. Der Versuch, Wirkungen alleine durch die Zielerreichungsgrade zu bestimmen, greift dagegen zu kurz: Solche Ergebnisse sind in der Regel kaum reliabel und damit nicht zuverlässig, und sie bilden nur die intendierten Wirkungen ab und lassen Nebenwirkungen völlig unberücksichtigt. Wirkfaktoren berücksichtigen: Um Kinder- und Jugendhilfe zu qualifizieren, sind Aussagen zur Effektivität zwar notwendig, 10 uj 1 (2009) heimerziehung aber nicht hinreichend. Daher sollten neben den Effekten die zentralen strukturalen und prozessualen Wirkfaktoren miteinbezogen werden, um sie in der Auswertungsphase mit den gemessenen Wirkungen in Beziehung setzen zu können. Zukünftige Auswertungen werden sich daher verstärkt multivariater Auswertungsmethoden (bei denen viele Merkmale in Beziehung zueinander gesetzt werden) bedienen müssen, da das überaus komplexe Wirkungsgefüge der Kinder- und Jugendhilfe nur unzureichend über bivariate Statistiken (bei denen lediglich zwei Merkmale Berücksichtigung finden) abgebildet werden kann. Ergänzend sollten die Ergebnisse qualitativer (Einzelfall-)Studien beachtet werden. Sie können auf Einzelfallebene vertiefende Hinweise zu den Erfolgs- und Misserfolgsfaktoren pädagogischer Arbeit liefern. Sichtweisen aller Beteiligten einbeziehen: Nicht nur die Fairness, sondern auch die Güte der Evaluation gebietet es, nach Möglichkeit die Sichtweisen aller Beteiligten zu berücksichtigen. Neben den beteiligten Fachkräften aus Jugendamt und Einrichtung ist eine Partizipation des jungen Menschen und seiner Familie unbedingt empfehlenswert, führt aber auch zu einem nicht unerheblichen Aufwand. Die bisherigen Erfahrungen belegen insgesamt eine hohe Güte der sozialpädagogischen Diagnostik seitens der Fachkräfte im Jugendamt und in den Einrichtungen. Dabei zeigt sich aber eine Tendenz zur Mitte: Extreme Einschätzungen werden eher vermieden und „unauffällige“ Einschätzungen bevorzugt. Hier besteht noch Schulungsbedarf, damit die gesamte Bandbreite sozialpädagogischer Diagnostik ausgeschöpft wird. Wünschenswert wäre darüber hinaus der Einsatz von geschulten, unabhängigen, externen DiagnostikerInnen, was aufgrund des damit verbundenen Aufwandes aber nur in wenigen Untersuchungen umgesetzt wird (z. B. Jugendhilfe-Effekte-Studie, EST! , Evaluation Kurt-Hahn-Gruppe, Evaluation des Modellprogrammes § 20 Saarland). Über den Tellerrand blicken: Viele Evaluationen werden nur für eine Institution geplant. Damit liegen zwar Ergebnisse für die eigene Institution vor, ein Vergleich oder eine Einordnung ist aber nicht möglich. Versuchen Sie daher - falls machbar - Evaluationen institutionsübergreifend, besser noch länderübergreifend, zu konzipieren. Dies ermöglicht u. a. Stärken- Schwächen-Analysen und ein gemeinsames Voneinander-Lernen. Der im Bereich der Hilfen zur Erziehung bislang am weitesten verbreitete Evaluationsansatz basiert auf der Jugendhilfe-Effekte-Studie. Die JES- Studie hatte explizit die Aufgabe, Evaluationsinstrumente zu entwickeln, mit denen die Wirkungen einer Hilfe und die daraus resultierenden Wirkfaktoren abgebildet werden. Diese Instrumente (Petermann/ Schmidt 2004) sollten auf der einen Seite innerhalb der Studie selbst eingesetzt werden. Auf der anderen Seite sollten sie aber auch als Grundlage für zukünftige Wirkungsmessungen im Bereich der Kinder- und Jugendhilfe dienen. Dies ist mittlerweile in einer Reihe von Evaluationen gelungen, so z. B. in der Kinderdorf- Effekte-Studie (KES) (Klein u. a. 2003), der Evaluation der Therapeutischen Übergangshilfe (Caritas-Kinderheim Reine 2000), der Evaluation Erzieherischer Hilfen (EVAS) (Macsenaere/ Knab 2004), der Wissenschaftlichen Evaluation Pinardihaus, der Evaluation Kurt-Hahn-Gruppe (Scholten/ Hoff/ Klein/ Macsenaere 2005), dem System psychomotorischer Effekte-Sicherung (SPES) (Klein u. a. 2005), der Qualitätsentwicklung Integrationsplatz (QUINT) (Hessisches Sozialministerium 2005), dem Modellprogramm § 20 Saarland (Herrmann u. a. 2005), dem QE-System Moses, der Wirkungsorientierten Steuerung im Dialog (WOS) (Macsenaere/ Paries 2006) und der Evaluation intensivpädagogischer Hilfen im Ausland (InHAus). uj 1 (2009) 11 heimerziehung Bei diesen Evaluationen zeigte sich, dass in der Regel eine erhebliche Kürzung und/ oder Komprimierung der Erhebungsinstrumente sinnvoll ist, damit sie in der Praxis mit einem vertretbaren Aufwand eingesetzt werden können. Außerdem muss eine Anpassung an den jeweiligen Untersuchungsgegenstand geprüft werden, was in der Regel zu veränderten oder auch neuen Fragebereichen führt. Ergebnisnutzung einplanen: Bei der Planung einer praxisbegleitenden (Wirkungs-) Forschung sollte von Anfang an die Ergebnisnutzung sichergestellt werden. Diese kann je nach Fragestellung unterschiedliche Ebenen betreffen: vom Einzelfall über mehrere aggregierte Stufen bis zur gesamten Institution (Einrichtung bzw. Jugendamt): • In Einzelfallberichten können Ausgangssituation, Verlauf und Effekte jeder einzelnen Hilfe abgebildet werden. Gerade die Ergebnisse zum Erfolg/ Misserfolg der Hilfe bieten ein Instrument zur Steuerung der einzelnen Hilfe und sollten daher in die Hilfeplanung integriert sein. • Die Einzelfalldaten können zu einer Vielzahl von „Gruppen“ zusammengefasst werden. So sind differenzierte Aussagen zu Hilfearten, Bezirken, Einrichtungsgruppen, Klientelmerkmalen (Geschlecht, Nationalität, Alter etc.) möglich. • Mit einem Gesamtbericht kann das Jugendamt bzw. die Einrichtung auf einen Blick empirisch fundierte Befunde zu Klientel, Hilfearten, Hilfedauer, Kosten, Erfolgen, Effizienz etc. erhalten. Darüber hinaus ist es möglich, die eigenen Ergebnisse mit denen anderer zu vergleichen und damit eine Stärken-Schwächen-Analyse vorzunehmen. Eine solche wirkungsorientierte Nutzung von Evaluationsergebnissen würde weit über die im Rahmen der Wirkungsorientierung zumeist diskutierten Entgeltvereinbarungen hinausgehen. Damit könnte auf zumindest drei Ebenen eine an den Wirkungen ausgerichtete Steuerung erreicht werden: • Die Hilfeplanung als zentrales Steuerungselement in den Hilfen zur Erziehung kann durch das empirisch fundierte Wissen um die erreichten Wirkungen und die daraus resultierenden Prognosen unterstützt werden. Auf dieser Grundlage kann der weitere Hilfeverlauf passgenauer geplant werden. • Auf aggregierten Ebenen werden Best-Practice- und auch Worst-Practice-Modelle sichtbar gemacht. Das Lernen aus gelungenen wie auch aus nicht gelungenen Hilfen Abb. 2: Wirkungsorientierte Steuerung (Institut für Kinder- und Jugendhilfe) 12 uj 1 (2009) heimerziehung kann genutzt werden, um die Hilfen zur Erziehung schrittweise zu optimieren. • Evaluationsverfahren können grundsätzlich auch als empirische Grundlage für Entgeltregelungen herangezogen werden. Das laufende Bundesmodellprogramm wird Hinweise geben, ob wirkungsorientierte Entgeltvereinbarungen sinnvoll sind und in welchen Formen sie sich ggf. bewährt haben. Keinesfalls sollte eine wirkungsorientierte Jugendhilfe aber auf diesen Punkt verkürzt werden. Literatur Birtsch, V./ Eberstaller, M./ Halbleib, E., 1980: Außenwohngruppen - Erziehung außerhalb des Heims. Frankfurt a. M. Brombach, R./ Schäuble, W., 1984: Zur psychischen Situation von Heimerziehern unter besonderer Berücksichtigung ihres Alters. Stuttgart Bundesministerium für Familie, Senioren, Frauen und Jugend (Hrsg.), 1998: Leistungen und Grenzen der Heimerziehung. Ergebnisse einer Evaluationsstudie stationärer und teilstationärer Erziehungshilfen. Band 170. Stuttgart Bürger, U., 1990: Heimerziehung und soziale Teilnahmechancen. Pfaffenweiler Caritas-Kinderheim Rheine gemeinnützige GmbH (Hrsg.), 2000: Effekte in der Therapeutischen Übergangshilfe. Caritas-Kinder- und Jugendheim. Rheine Conen, M.-L., 1990: Elternarbeit in der Heimerziehung. Frankfurt a. M. Elger, W./ Jordan, E./ Münder, J., 1987: Erziehungshilfen im Wandel. Münster Forschungsgruppe Klein-Zimmern, 1992: Familiengruppen in der Heimerziehung. Frankfurt a. M. u. a. Freigang, W., 1986: Verlegen und Abschieben. Zur Erziehungspraxis im Heim. Weinheim/ München Fühne, B./ Kohorst, C./ Schone, R./ Stickdorn, D., 1979: Verbundsysteme der Heimerziehung. Frankfurt a. M. Gintzel, U./ Schone, R., 1989: Erziehungshilfe im Grenzbereich von Jugendhilfe und Jugendpsychiatrie. Frankfurt a. M. Hebborn-Brass, U., 1991: Verhaltensgestörte Kinder im Heim. Freiburg Herriger, N., 1979: Verwahrlosung. Eine Einführung in Theorien sozialer Auffälligkeit. München Heun, H.-D., 1984: Pflegekinder im Heim. Eine Untersuchung über Anzahl, Ursachen und Auswirkungen abgebrochener Pflegeverhältnisse von Minderjährigen in hessischen Kinder- und Jugendheimen. München Hochmair, G./ Möllhof, B./ Möllhof, M./ Völker, P., 1976: Kinderhäuser. Frankfurt a. M. IGFH, 2003: Abschlussbericht zum Modellprojekt „INTEGRA - Implementierung und Qualifizierung integrierter, regionalisierter Angebotsstrukturen in der Jugendhilfe am Beispiel von fünf Regionen“. Frankfurt Institut für Kinder- und Jugendhilfe, 2008: EVAS- Auswertung 2007. Gesamtbericht. Mainz Institut für Kinder- und Jugendhilfe (Hrsg.), 2008: QUINT - Integrative Prozesse in Kitas qualitativ begleiten. Ausgabe für die Bundesrepublik Deutschland. Kronach Keckeisen, W., 1974: Die gesellschaftliche Definition abweichenden Verhaltens. München Kiehn, E., 1983: Beurteilung und Erfolg der Erziehung im Heim. In: Jugendwohl, 64. Jg., S. 97ff Klein, J./ Knab, E./ Fischer, K., 2005: Forschungsbericht zur Evaluation psychomotorischer Effekte. In: Motorik, 28. Jg., H. 1, S. 64 - 66 Klein, J./ Erlacher, M./ Macsenaere, M., 2003: Die Kinderdorf-Effekte-Studie. Mainz Knab, E., 1999: Sport in der Heimerziehung. Frankfurt a. M. Kuhlmann, C., 1989: Erbkrank oder erziehbar? Jugendhilfe als Vorsorge und Aussonderung in der Fürsorgeerziehung in Westfalen von 1933 - 1945. Weinheim u. München Kurz-Adam, M./ Sumser, M./ Frick, U., 2008: Evaluation der Hilfequalität und Kosteneffektivität der sozialräumlichen Erziehungshilfen. Abschlussbericht. München Lambers, H., 1995: Bestandsaufnahme zur Heimerziehungsforschung. In: AFET (Hrsg.): Wissenschaftliche Informationsschriften (Bd. 13). Hannover Lambers, H., 1996: Heimerziehung als kritisches Lebensereignis. Münster Landenberger, G./ Trost, R., 1988: Lebenserfahrung im Erziehungsheim. Frankfurt a. M. Landeswohlfahrtsverband Baden (Hrsg.), 2000: Praxisforschungsprojekt „Erfolg und Misserfolg in der Heimerziehung. Eine katamnestische Befragung ehemaliger Heimbewohner“. Karlsruhe Löcherbach, P./ Arnold, J./ Hermsen, T./ Macsenaere, M./ Paries, G./ Mennemann, H./ Poguntke-Rauer, M./ Meyer, F.-W., 2008: Computergestütztes Case Management in der Kinder- und Jugendhilfe. In: Case Management, 5. Jg., H. 1, S. 28 - 32 Macsenaere, M./ Knab, E., 2004: EVAS - Eine Einführung. Freiburg Macsenaere, M./ Paries, G., 2006: Wirkungsorientierte Steuerung im Dialog: Mehr Einblick, Übersicht und Effizienz im Bereich der Hilfen zur Erziehung. In: Das Jugendamt, 79. Jg., H. 3, S. 113 - 119 Macsenaere, M./ Paries, G./ Arnold, J., 2008: EST! Evaluation der Sozialpädagogischen Diagnose- Tabellen. Abschlussbericht. München, in Druck uj 1 (2009) 13 heimerziehung Mitranski, U., 1990: Belastung von Erziehern. Frankfurt a. M. u. a. Münchmeier, R., 1981: Zugänge zur Geschichte der Sozialarbeit. München Niederberger, M./ Bühler-Niederberger, D., 1988: Formenvielfalt in der Fremderziehung. Stuttgart Piorkowski-Wühr, I., 1978: Empirische Untersuchung über die Erziehungsstellen des Landeswohlfahrtsverbandes Hessen. In: Blandow, J./ Faltermaier, J./ Widemann, P. (Hrsg.): Fremdplatzierung und präventive Jugendhilfe. Frankfurt a. M., S. 187ff Planungsgruppe Petra, 1987: Analyse von Leistungsfeldern der Heimerziehung. Frankfurt a. M. u. a. Roos, K., 2005: Kosten-Nutzen-Analyse von Jugendhilfemaßnahmen. In: Petermann, F. (Hrsg.): Studien zur Jugend- und Familienforschung. Band 23. Frankfurt Scherpner, H., 1966: Die Geschichte der Jugendfürsorge. Göttingen Schmidt, M./ Schneider, K./ Hohm, E./ Pickartz, A./ Macsenaere, M./ Petermann, F./ Flosdorf, P., Hölzl, H./ Knab, E., 2003: Effekte erzieherischer Hilfen und ihre Hintergründe (Schriftenreihe des BMFSFJ; Band 219). Stuttgart Schoch, J., 1989: Heimerziehung als Durchgangsberuf? Weinheim u. München Scholten, H./ Hoff, B./ Klein, J./ Macsenaere, M., 2005: Kick-Off-Gruppen: Intensive Pädagogik für eine extreme Klientel. In: Unsere Jugend, 57. Jg., H. 3, S. 131 - 141 Schrapper, C./ Sengling, D. (Hrsg.), 1988: Die Idee der Bildbarkeit. Weinheim Schrödter, M./ Zegler, H., 2007: Was wirkt in der Kinder- und Jugendhilfe? Internationaler Überblick und Entwurf eines Indikatorensystems von Verwirklichungschancen. Münster Schumann, C., 1975: Heimerziehung und kriminelle Karrieren. In: Brusten, M./ Hohmeier, J. (Hrsg.): Stigmatisierung. Band 2. Neuwied/ Darmstadt, S. 33ff Spindler, M., 1991: Leben im Heim. Identitätsrelevante Umweltdimensionen aus der Sicht von Kindern, Jugendlichen und Betreuerinnen in zwei heilpädagogisch orientierten Einrichtungen. Dissertation. München Stohler, R., 2005: Nachuntersuchung Lernstatt Känguruh. Zürich Trede, W., 1992: Heimerziehung zwischen Normalisierung und Professionalisierung - Quantitative Trends im Beriech der erzieherischen Hilfen. Materialien zur Heimerziehung (3), S. 16 - 20 Trede, W., 1993: Kindheit im Heim. Die deutschsprachige Heimerziehungsforschung im Überblick. Materialien zur Heimerziehung (1/ 2), S. 1 - 4 Wolf, K., 2007: Metaanalyse von Fallstudien erzieherischer Hilfen hinsichtlich von Wirkungen und „wirkmächtigen“ Faktoren aus Nutzersicht. Münster Der Autor Prof. Dr. Michael Macsenaere IKJ Institut für Kinder- und Jugendhilfe gGmbH Saarstraße 1 55122 Mainz macsenaere@ikj-mainz.de