214 unsere jugend, 68. Jg., S. 214 - 223 (2016) DOI 10.2378/ uj2016.art31d © Ernst Reinhardt Verlag München Basel Wirkungsforschung in der Kinder- und Jugendarbeit Hindernisse und Lösungsvorschläge Ausgehend von einer zunehmenden Wirkungsorientierung in der Jugendhilfe stellt sich auch in der Kinder- und Jugendarbeit vermehrt die Frage nach ihren Wirkungen. In dem vorliegenden Beitrag wird beschrieben, warum innerhalb der Kinder- und Jugendarbeit bislang noch keine Wirkungsforschung stattgefunden hat und wie eine Wirkungsforschung erfolgen könnte. von Dr. Maik-Carsten Begemann wiss. Mitarbeiter an der Hochschule Düsseldorf, aktuelle Arbeitsschwerpunkte: Wirkungsforschung in der Jugendhilfe, Methoden der empirischen Sozialforschung, Bildungspotenziale von Schulsozialarbeit Die „Halbierte Wirkungsorientierung“ der Kinder- und Jugendarbeit Wie bereits in anderen Bereichen der Sozialen Arbeit ist auch in der Kinder- und Jugendhilfe (im Folgenden: KJH) seit einigen Jahren vermehrt eine Wirkungsorientierung wahrzunehmen. Wirkungsorientierung markiert ganz allgemein die Hinwendung zu Wirkungen, Effekten und Ergebnissen (Polutta 2013). Sie betrifft verschiedene Subsysteme der Gesellschaft (bspw. Praxis, Familie, Politik, Forschung), findet sich - z. B. in Gestalt praktisch-konzeptioneller Ansätze, theoretischer Abhandlungen, moralethischer Diskurse, sozialpolitischer Strategien, empirischer Unternehmungen - auf sich gegenseitig beeinflussenden Ebenen wieder und involviert dabei diverse Akteure (bspw. Fachkräfte, Heranwachsende, Forschende). Obwohl der Einzug der Wirkungsorientierung in der KJH ubiquitär ist, er also in allen ihrer Arbeitsfelder zu beobachten ist, findet er innerhalb der einzelnen Arbeitsfelder in unterschiedlicher Geschwindigkeit mit unterschiedlicher Quantität und Qualität statt. Für die (Offene) Kinder- und Jugendarbeit (im Folgenden: KJA) - um welche es im vorliegenden Text ausschließlich gehen wird - ergibt sich z. B. folgende Momentaufnahme: Auf einer eher diskursiven Ebene ist die Wirkungsorientierung in Form reger Diskussionen bereits weit vorangeschritten, wobei anders als in anderen Arbeitsfeldern der KJH eine gewisse Skepsis insbesondere seitens der Praxis vorherrscht. Richtet man zudem den Blick auf die Fachliteratur, so ist auch hier eine fortgeschrittene Wirkungsorientierung festzustellen, finden sich in letzter Zeit vermehrt einschlägige Publikationen zu den Wirkungen der KJA (bspw. die zahlreichen Beiträge in Land Steiermark 2013, Kammerer 2012 sowie Lindner 2008). 215 uj 5 | 2016 Wirkungsforschung in der Kinder- und Jugendarbeit Auf einer eher empirischen Ebene jedoch findet sich der Einzug der Wirkungsorientierung nicht bzw. zumindest nicht in gleichem Ausmaß wieder. Zwar ist die KJA - sowohl im zeitlichen Vergleich zur Situation von vor gut 10 Jahren, als der Stand der Forschung ein verhältnismäßig ernüchterndes, bescheidendes Profil zeigte und Forschungsergebnisse „nur in einem begrenzten Umfang“ (Thole 2004, 262f zit. nach Wendt 2012, 88) vorlagen, als auch im Vergleich zu anderen Feldern der KJH - inzwischen mit einer Vielzahl an empirischen Untersuchungen insgesamt relativ umfangreich erforscht. Allerdings rekurrieren diese Studien nahezu ausschließlich auf Strukturen und Prozesse. Studien, welche explizit Ergebnisse (um nicht zu sagen: Wirkungen) im Fokus haben, finden sich demgegenüber äußerst selten. Wird zudem bedacht, dass Studien, die explizit und unter bewusster Anwendung von anerkannten Standards - wie sie für gewöhnlich in Wirkungsuntersuchungen vorausgesetzt und auch angetroffen werden - die Wirkungen der KJA empirisch fundiert nachweisen (wollen), überhaupt nicht anzutreffen sind, kann im Arbeitsfeld der KJA insgesamt von einer „Halbierten Wirkungsorientierung“ gesprochen werden. Was erschwert eigentlich die Erforschung von Wirkungen in der Kinder- und Jugendarbeit? Für dieses Forschungsdefizit, oder besser gesagt: diesen Rückstand, auf der empirischen Ebene können zahlreiche Begründungen angeführt werden. Am plausibelsten erscheint jedoch - zumindest aus Sicht der empirischen Sozialforschung - die Hypothese, dass sich die KJA als ein Arbeitsfeld darstellt, welches sich nur schwer hinsichtlich seiner Wirkungen erforschen lässt. So weist sie - um eine unlängst getroffene Unterscheidung (Begemann 2015 b) erneut aufzuführen - mit handlungsfeldübergreifenden Merkmalen der KJH, handlungsfeld-typischen veränderbaren Merkmalen der KJA sowie handlungsfeld-typischen unveränderbaren Merkmalen der KJA zahlreiche Eigenschaften auf, die insgesamt die Erforschung ihrer Wirkungen erschweren. Handlungsfeld-übergreifende Merkmale der KJH, wie bspw. die Komplexität des Settings, der sozialpädagogischen Fachlichkeit sowie der Alltagssituation, aber auch die Komplexität der individuellen Spezifizität der Leistungen, werden insbesondere in bewusster Gegenüberstellung zu anderen Systemen der Gesellschaft wie etwa dem Schulsystem (vgl. Begemann 2013) erkennbar, sind in allen Arbeitsfeldern der KJH - also bspw. in der SSA, aber eben auch in der KJA - anzutreffen und erschweren grundsätzlich eine Wirkungsforschung in allen Feldern der KJH. Handlungsfeld-typische unveränderbare Merkmale erschweren demgegenüber ausschließlich die Erforschung der Wirkungen der KJA, treffen nur für die KJA zu und sind für diese grundlegend und zeitlos konstitutiv. Zu diesen vielfach beschriebenen Merkmalen zählen z. B. die (stets gültigen) Tatsachen, ➤ dass die KJA freiwillig und wenig verbindlich in Anspruch genommen wird, ➤ dass sie keinen Maßnahmecharakter und nur einen geringen Interventionscharakter aufweist, ➤ dass sie niedrigschwellig zahlreiche Partizipationsmöglichkeiten bereitstellt, ➤ dass sie lebensweltlich orientiert und oftmals spontan gestaltet ist, ➤ dass sie auf einem spezifischen, auf Augenhöhe stattfindenden Verhältnis zwischen PädagogInnen und Heranwachsenden basiert, ➤ dass sie gering formalisiert, strukturiert und standardisiert ist und ➤ dass ihr eine multiple Offenheit bspw. hinsichtlich Methoden, Arbeitsweisen sowie Prozessen inhärent ist. 216 uj 5 | 2016 Wirkungsforschung in der Kinder- und Jugendarbeit Handlungsfeld-typische veränderbare Merkmale schließlich erschweren ebenfalls eine Wirkungsforschung in der KJA, auch treffen sie nur für die KJA zu, geben dabei aber (lediglich) die gegenwärtige Situation der KJA wieder. So ist die KJA aktuell bspw. dadurch gekennzeichnet, ➤ dass sie - abgesehen von einzelnen Theorieversuchen - keine geschlossene umfassende Theorie besitzt, ➤ dass sie keine eindeutigen und vor allem von allen beteiligten Akteuren gemeinsam getragenen Ziele, weder in der Fachpraxis noch in der einschlägigen Fachdiskussion, aufweist, ➤ dass ihr im SGB VIII festgeschriebener Auftrag (bspw. die Befähigung junger Menschen zur Selbstbestimmung) (bewusst) allgemein und unspezifisch gehalten ist, und ➤ dass sie eine marginale Randstellung (wenngleich nicht unbedingt im Leben der Heranwachsenden, so aber doch in der Gesellschaft, in der Politik und eben auch in der Forschung) innehat, und sie infolgedessen auch (bislang) noch nicht als „Wirk-Ort“ wahrgenommen wird. Sicherlich erschweren diese Merkmale erst in ihrem Zusammenspiel eine Wirkungsforschung der KJA, jedoch scheinen gerade die arbeitsfeld-typischen Merkmale ausschlaggebend für die schwierige Wirkungsforschung zu sein - wie insbesondere ein Vergleich der KJA mit anderen Arbeitsfeldern der KJH wie bspw. der Hilfen zur Erziehung (im Folgenden: HzE) zeigt (vgl. Liebig/ Begemann 2008). So weist die HzE - u. A. mit einer hohen Formalisierung, Strukturierung und Standardisierung, einem geregelten Hilfeplanverfahren, einem hohen Verbindlichkeitscharakter, einer ausgeprägten Dokumentationspflicht sowie -praxis, vergleichsweise engen verwaltungsrechtlichen Richtlinien und konkret formulierten Zieldefinitionen im Hilfeplanverfahren - zahlreiche Eigenschaften auf, die sich einerseits z. T. enorm von den Merkmalen der KJA unterscheiden, die aber andererseits gleichzeitig die Wahrscheinlichkeit von Wirkungsforschungen zu erhöhen scheinen. Und in der Tat sind bereits zur Jahrtausendwende einschlägige Studien in einem relativ großen Umfang sowie mit einem z. T. komplexen Design zu den Wirkungen der HzE - bspw. „JES“ (Schmidt et al. 2002) oder „JULE“ (Baur et al. 1998) - durchgeführt worden. Wie kann eine Erforschung von Wirkungen der Kinder- und Jugendarbeit erfolgen? Will man nicht den (unwahrscheinlichen) forschungstechnisch-günstigen Moment abwarten, an dem sich zumindest die handlungstypischen veränderlichen Merkmale der KJA derart ändern, dass die KJA vermehrt „wirkungsforschungs-kompatible“ Eigenschaften ähnlich der HzE aufweist, muss endlich aktiv, mit verstärkten Ressourcen und verstärkten Ambitionen an der Umsetzung einer Wirkungsforschung gearbeitet werden. Vorbereitende und flankierende Maßnahmen Es liegen inzwischen mit einschlägigen Berichten, Studien zum Arbeitsfeld der KJA, Wirkungsstudien in der Sozialen Arbeit sowie einschlägigen Datenbeständen insgesamt umfangeiche Materialien vor, die durch diverse Formen von Rebzw. Sekundäranalysen genutzt werden sollten. 1. So können erstens insbesondere die regelmäßig erscheinenden Kinder- und Jugendberichte des Bundes und der Bundesländer, Familienberichte und Gesundheitsberichte des Bundes sowie die bei der Anfertigung dieser Berichte entstandenen Expertisen, aber auch Geschäftsberichte bspw. von Wohlfahrtsverbänden und Jugendverbänden systematisch gesichtet werden - mit dem Ziel, 217 uj 5 | 2016 Wirkungsforschung in der Kinder- und Jugendarbeit zahlreiche, für eine Wirkungsforschung zu verwertende Informationen etwa zum aktuellen Forschungsstand, zu einschlägigen Indikatoren und ggf. zu möglichen Messinstrumenten zu gewinnen. 2. Zudem sollte zweitens der Umstand genutzt werden, dass inzwischen zahlreiche Studien, wenngleich nicht zu den Wirkungen der KJA, so aber immerhin zu ihren Strukturen und Prozessen durchgeführt worden sind. Da Wirkungen jedoch auch immer durch Strukturen und Prozesse mit beeinflusst werden, können mit einer fundierten Analyse dieser Studien gerade im Arbeitsfeld der KJA mit ihren hochkomplexen Settings wertvolle Hinweise auf Ursache-Wirkungs-Zusammenhänge gefunden werden. 3. Darüber sollte drittens berücksichtigt werden, dass im Zuge der zunehmenden Wirkungsorientierung in der gesamten Sozialen Arbeit sowohl innerals auch außerhalb der KJH vermehrt Wirkungsuntersuchungen vorliegen, die - zur möglichen Anwendung im Arbeitsfeld der KJA - hinsichtlich Fördermöglichkeiten für Projekte der Wirkungsforschung, Feldzugänge, Forschungsdesigns, Erhebungsmethoden, Auswertungsverfahren etc. genauestens analysiert werden sollten. 4. Viertens liegt umfangreiches, z. T. kontinuierlich erhobenes Datenmaterial zur KJA vor, welches durch Sekundäranalysen für einzelne Fragestellungen ausgewertet oder zur Vorbereitung ganzer Forschungsprojekte herangezogen werden kann. Damit sind nicht nur die vorliegenden einmalig durchgeführten und teilweise repräsentativen einschlägigen Einzelfallstudien angesprochen, sondern insbesondere die kontinuierlich durchgeführte amtliche KJH- Statistik, permanent erstellte Geschäftsbzw. Trägerstatistiken bspw. von Wohlfahrts- und Jugendverbänden sowie regelmäßig erscheinende repräsentative (Jugend-)Studien wie z. B. der Freiwilligensurvey oder die Shell-Studie. Zu betonen ist, dass diese Rezw. Sekundäranalysen der Materialien sowohl explorativ innerhalb einer beginnenden als auch flankierend während einer laufenden Wirkungsforschung in der KJA durchzuführen sind. 5. Wünschenswert wäre darüber hinaus der Aufbau und die Pflege einer entsprechenden Datenbank, in welcher die aufgeführten Materialien nach den angesprochenen Dimensionen indexialisiert kontinuierlich eingespeist werden. Umsetzung eines adäquaten Designs Im Kern - und daran führt kein Weg vorbei - muss auch im Arbeitsfeld der KJA eine Wirkungsforschung ein längsschnittartiges exante-Kontrollgruppen-Design aufweisen - also ein Design, innerhalb dessen bspw. zu (mindestens) zwei Zeitpunkten Untersuchungseinheiten, welche vor der erstmaligen Beobachtung entweder einer Untersuchungs- oder aber einer Kontrollgruppe zugeordnet worden sind, untersucht werden. Ein einfacher Vorher-Nachher-Vergleich ohne den Einsatz einer Kontrollgruppe alleine reicht nicht aus, da so Wirkungen nicht eindeutig auf Wirkfaktoren zurückgeführt werden können. Aber auch ein Vergleichsgruppendesign, innerhalb dessen die Vergleichsgruppen ex-post, also erst im Nachhinein, gebildet werden, eignet sich nicht zur Erforschung von Wirkungen, da die Daten hierbei rückblickend (retrospektiv), nicht jedoch - wie erforderlich - (prospektiv) im Längsschnitt erhoben werden. Somit bleiben zur Wirkungsforschung zwingend zwei Typen von Forschungsdesigns: längsschnittartige experimentelle oder längsschnittartige quasi-experimentelle Designs. Bei einem experimentellen Design werden die Untersuchungseinheiten zufällig auf die Untersuchungs- und Kontrollgruppe verteilt. Da diese randomisierte Zuordnung - verkürzt formuliert - den potenziellen Einfluss von Störvariablen kontrolliert, werden 218 uj 5 | 2016 Wirkungsforschung in der Kinder- und Jugendarbeit randomisierte Kontrollstudien in internationalen Evidenzhierarchien den Quasi-Experimentalstudien (McNeece/ Thyer 2004) bevorzugt. Vom Einsatz experimenteller Designs zur Wirkungsforschung im Arbeitsfeld KJA ist jedoch abzuraten - und zwar aus mehreren Gründen: eine zufällige Einteilung von Jugendlichen, die die Angebote der KJA nutzen bzw. eben nicht nutzen können/ sollen, ist nicht realisierbar. Zudem sind die methodisch-methodologischen Voraussetzungen nicht erfüllbar, fußen experimentelle Designs im Wesentlichen auf kontrollierbaren Untersuchungssituationen. Auch besitzen sie für die Erforschung von Wirkungen der KJA schlichtweg keinen Mehrwert: zwar weisen sie eine hohe interne, jedoch keine externe Validität auf (Campbell/ Stanley 1963): so können mit experimentellen Designs - erneut verkürzt formuliert - zwar Wirkungen einzig und allein auf die Wirkfaktoren zurückgeführt werden, allerdings können die derartig generierten Ergebnisse später nicht auf andere Kontexte übertragen werden. Die Befunde gelten nur für Situationen, die exakt der Untersuchungssituation entsprechen. Damit zusammenhängend - und dies ist ausschlaggebend - können so zwar Wirkungen bestimmten Wirkfaktoren zugeschrieben werden, aber es kann nicht erklärt werden, unter welchen Bedingungen und Mechanismen diese Wirkungsbeziehungen zutreffen (Micheel 2013, 190). Von daher müssen Wirkungsforschungen in der KJA auf einem quasi-experimentellen Design basieren. Dazu wird die Kontrollgruppe zur „Experimentalgruppe“ nicht durch eine zufällige Einteilung gebildet, sondern durch einen Abgleich der sogenannten Kontextbedingungen, die nicht Teil der auf seine Wirkung hin zu überprüfenden Intervention sind (im Folgenden: Micheel 2013, 190). Dabei geht es nicht darum, (störende) Kontexteinflüsse durch Randomisierung möglichst umfassend auszuschließen, sondern darum, diese möglichst umfassend zu erheben. So kann nicht nur der Einfluss des Kontextes auf Wirkungen gemessen werden, sondern es kann erkundet werden, in welchen Settings unter welchen Voraussetzungen dies geschieht. Damit dies gelingt, müssen jedoch über die übliche Abbildung von Wirkungsindikatoren hinaus zahlreiche weitere Kontextindikatoren - idealerweise auf Struktur- und Prozessebene - exakt erhoben werden. Offen bleibt, wie im Arbeitsfeld der KJA mit ihren beschriebenen Merkmalen ein quasi-experimentelles Design umgesetzt werden kann: Wie können bereits zu Beginn eines Forschungsprojektes (ansonsten ähnliche) Gruppen bspw. von Jugendlichen gebildet werden, die die KJA aufsuchen bzw. nicht aufsuchen, und wie können diese Gruppen anschließend über einen längeren Zeitraum untersucht werden? Konkret könnte dies - prospektiv und sogar mit einem anschließenden follow-up zur Überprüfung der Nachhaltigkeit von Wirkungen - geschehen z. B. durch panelartige Klassenverbandsbefragungen oder durch das Verwenden eines sogenannten access-panels (einer Art Liste von Personen, welche sich bei einer Untersuchung für weitere Untersuchungen bereiterklärt haben) einer bereits durchgeführten und insbesondere umfangreichen Studie, welche die Nutzung von KJA-Angeboten thematisiert (zu genauen Vorgehensweise am Beispiel der Erforschung internetbasierten jugendlichen Engagements siehe Begemann et al. 2011). Zwar werden bei beiden Verfahren die Daten gewissermaßen de-kontextualisiert - also nicht in den ursprünglichen Settings der KJA wie bspw. in einer offenen Einrichtung - erhoben (sodass der Abbildung der Kontextdaten erhöhte Aufmerksamkeit geboten werden muss). Allerdings ergibt sich so auch der positive Effekt, eine ansonsten vermutlich hohe Panelmortalität (also das Ausscheiden von Personen aus einer längsschnittartigen Untersuchung) zu verringern. Zudem ließen sich die derartig generierten Befunde - da bei beiden Varianten bestimmteVerfahren der Stichprobengewinnung anwendbar sind - sogar besonders gut verallgemeinern. 219 uj 5 | 2016 Wirkungsforschung in der Kinder- und Jugendarbeit Die Einschätzung, wonach qualitative Studien ebenso wie Längsschnittstudien ohne Kontrollgruppe und Querschnittuntersuchungen nicht mehr als Wirkungsnachweise gelten und sie - da sie sogar noch nach diesen am Ende der Evidenzhierarchie (vgl. Mcneece/ Thyer 2004) stehen - somit für Wirkungsforschungen praktisch völlig bedeutungslos sind, wird nicht geteilt. Ganz im Gegenteil können (und müssen! ) auch qualitative Erhebungsmethoden und Auswertungsverfahren in Wirkungsuntersuchungen eingesetzt werden. Entscheidend ist nicht, ob Erhebungsmethoden und Auswertungsverfahren quantitativer oder qualitativer Natur sind; Voraussetzung ist vielmehr, dass die Wirkungsforschungen, innerhalb derer die Methoden bzw. Verfahren zum Einsatz kommen sollen, das skizzierte längsschnittartige ex-ante Vergleichsgruppendesign aufweisen. Die bisherige Hegemonie quantitativer Verfahren darf nicht dazu führen, das Potenzial von qualitativer Sozialforschung nicht auszuspielen. So können bspw. in einem frühen Stadium einer Wirkungsforschung qualitative Methoden (u. a. aufgrund ihrer typischen Herangehensweise der „ungenauen“ Themenstellung sowie ihrer gewissen Offenheit gegenüber allen, auch unerwarteten Erkenntnissen) gerade im Feld der KJA zahlreiche, auch zunächst nicht vermutete Ursache-Wirkungs-Zusammenhänge explorativ entdecken; im weiteren Forschungsverlauf ergeben sich durch qualitative Ansätze oftmals Hinweise auf alternative Wirkungspotenziale (APA 2006). Auch können insbesondere mit einer qualitativ ausgerichteten NutzerInnenforschung (Schaarschuch/ Oelerich 2005) neben individuell realisierten Aneignungs- und Nutzungsprozessen nicht nur die jeweils von den Nutzenden selbst bewerteten Wirkungen rekonstruiert werden, sondern auch nichtintendierte Wirkungen und sogar Wirkungen (noch) nicht genutzter Angebote. Des Weiteren liefern gerade qualitative, also interpretative Auswertungsverfahren Kausalerklärungen für Wirkungszusammenhänge, wohingegen quantitative, also statistische Verfahren „nur“ Kausalbeschreibungen liefern. Eng damit zusammenhängend können schließlich im Zuge der Auswertung mit den Herangehensweisen der dem qualitativen Paradigma angehörenden grounded theory empirisch gestützte, gegenstandsbezogene Wirkungstheorien entworfen werden. Einsatz adäquater Erhebungsmethoden und Auswertungsverfahren Zur Erhebung der benötigten Daten sollten insbesondere Methoden eingesetzt werden, welche für eine (objektive) Erforschung von (tatsächlichen) Wirkungen geeignet sind. Grundsätzlich können in der KJA aufgrund der Spezifität ihrer Settings weitaus mehr und auch verschiedene Methoden, z. B. telefonische oder schriftlichen Befragungen, qualitative Interviews, Experteninterviews, Gruppengespräche etc., zum Einsatz kommen, als dies in anderen, insbesondere strukturierteren Arbeitsfeldern wie bspw. in der HzE der Fall ist. Jedoch werden mit diesen Methoden immer (nur) Selbsteinschätzungen, welche stets subjektiv geprägt sind, seitens der Untersuchten eingefangen. Dies gilt im Übrigen auch für teilnehmende Beobachtungen, da hierbei erneut Selbsteinschätzungen - dieses Mal durch die Beobachtenden - eingeholt werden. Um dieser Problematik, welcher zugegebenermaßen in den meisten Wirkungsuntersuchungen auch innerhalb anderer Arbeitsfelder zu wenig Aufmerksamkeit gewidmet wird, zu entkommen, bieten sich (mindestens) drei Möglichkeiten an: 1. Speziell im Falle von Beobachtungen sollten diese im Sinne einer vergleichsweise objektiven Datenerhebung stets durch intensiv geschulte Beobachtende und ggf. unter Verwendung standardisierter Beobachtungsbögen durchgeführt werden. 220 uj 5 | 2016 Wirkungsforschung in der Kinder- und Jugendarbeit 2. Zudem sollten durchaus auch nicht-reaktive Verfahren eingesetzt werden. Diese sind sicherlich in ihrem Nutzen stark eingeschränkt; jedoch bieten sie - über ihren grundsätzlichen Vorteil, dass untersuchte Personen nicht auf sie (subjektiv) reagieren, hinaus - gerade in den unstrukturierten Settings der KJA zahlreiche Verwendungszwecke zur Objektivierung bisher gefundener Ursache-Wirkungs- Zusammenhänge. 3. Schließlich sollte der Tendenz der internationalen Wirkungsforschung gefolgt werden, wonach bspw. der Erwerb (sozialer) Kompetenzen - wie er ja gerade in der KJA stattfindet - innerhalb von Untersuchungen nicht mehr nur auf der Wissensebene abgefragt, sondern „tatsächlich“ auf der Handlungsebene etwa durch Anwendung getestet wird. Auch bei den Auswertungsverfahren müssen Standards, wie sie bereits seit Langem in Wirkungsforschungen eingefordert werden, eingehalten werden. So gilt bei der Verwendung qualitativer Auswertungsverfahren, dass deutlich ausgewiesen werden muss, auf welcher methodologischen Grundlage die Daten mit welcher Heuristik interpretiert werden, sodass nicht gegen die Transparenz als einem neuen wesentlichen Gütekriterium der interpretativen Sozialforschung verstoßen wird. Hinsichtlich quantitativer Auswertungsverfahren ist zu betonen, dass die Forderung von Macsenaere (2015, 5), wonach in der KJH in Wirkungsuntersuchungen zukünftig weniger bi- und uni-, sondern verstärkt multivariate Verfahren zum Einsatz kommen sollen, um der Komplexität der KJH gerecht zu werden, erst recht für das Arbeitsfeld der KJA gilt: gerade hier - mit ihren offenen, vielschichtigen sowie hochkomplexen Arrangements - muss das gesamte bisher entwickelte und auch zur Verfügung stehende „Waffen-Arsenal“ an statischen Auswertungstechnologien Anwendung finden. Verwendung einer Wirkungstheorie und Operationalisierung der Indikatoren Auch die Erforschung von Wirkungen der KJA muss auf einer mehr oder weniger ausgereiften Wirkungs-Theorie basieren. Eine derartige Theorie sollte grundsätzlich möglichst alle ursächlichen Wirkfaktoren sowie alle, auch unbeabsichtigten oder sogar negativen Effekte umfassen. Bei der Verwendung einer derartigen Theorie sollte berücksichtigt werden, dass sowohl Ursachen als auch Wirkungen auf verschiedenen Ebenen wie etwa der Mikro-, Meso- oder Makroebene - um eine in der Wirkungsforschung üblicherweise verwendete Einteilung anzuführen - anzutreffen sind. Zudem muss bedacht werden, dass Ursache-Wirkungs-Zusammenhänge unterschiedliche Qualitäten besitzen, dass verursachte Wirkungen immer auch Ursachen für anschließende Wirkungen sind und dass Ursachen sowie Wirkungen sich gegenseitig minimieren, neutralisieren oder gar verstärken können. Schließlich sollte eine mögliche Wirkungstheorie nicht zuletzt zur besseren Interpretation gerahmt werden. Alle innerhalb der zugrunde gelegten Wirkungstheorie in einen Wirkungszusammenhang gebrachten Variablen müssen über Indikatoren umfassend und zugleich möglichst ausdifferenziert abgebildet werden. Dies gilt für die Effektvariablen, die die Wirkungen der KJA darstellen, aber auch für die Strukturvariablen, welche überwiegend die betreffenden Settings der KJA repräsentieren, sowie für die Prozessvariablen, welche überwiegend anzutreffende (Handlungs)-Praktiken abbilden sollen. Dabei kann bei der Auswahl und Erfassung der Indikatoren durchaus auf die von Micheel (2014, 105) erkannte positivistisch-pragmatische Tendenz aufgesetzt werden, wonach zumeist Indikatoren gewählt werden, die sich als leicht beobachtbar, dokumentierbar und (scheinbar) objektiv darstellen. Es muss aber auch berücksichtigt werden, dass die KJA zahlreiche „weiche“ Wirkungen - wie z. B. Persönlichkeitsentwicklung - „produziert“, welchen oftmals zu vorschnell 221 uj 5 | 2016 Wirkungsforschung in der Kinder- und Jugendarbeit attestiert wird, sie seien schwer messbar (so bspw. Heimgärtner 2013, 60). In solchen Fällen empfiehlt sich ein Blick auf die Wirkungsforschung in angrenzenden Arbeitsfeldern. So liegen etwa im Bereich der HzE zur Erfassung derartiger Wirkungen bereits diverse Messinstrumente vor, die auch im Bereich der KJA eingesetzt werden können. Unabhängig davon muss stets reflektiert werden, dass mit der Entscheidung für bestimmte Indikatoren immer auch normative Setzungen verbunden sind (ähnlich Hüttemann 2006), die wiederum bei der Veröffentlichung der Befunde transparent anzugeben sind. Fazit Die hier vorgeschlagene Wirkungsforschung erscheint in ihrer Anwendung (gerade für die Praxis) zunächst einmal begrenzt. So geht es ihr nicht darum, Daten zur Förderung, Mittelvergabe, Hilfeplanung, zum strategischen Controlling und/ oder zu Planungs- und Steuerungsprozessen zu liefern. Auch beabsichtigt sie nicht, pädagogische Praxis zu bewerten oder sogar zu verbessern. Diese Ziele sind eher anderen wirkungsorientierten Ansätzen - wie bspw. Controllingverfahren, Qualitäts- und Evaluationskonzepten oder lokalen Steuerungssystemen - vorbehalten, welche allesamt eine Veränderung sozialer Praxis anstreben und von daher der Angewandten Sozialforschung zuzurechnen sind (zu den unterschiedlichen Ansätzen der Wirkungsforschung s. a. Begemann 2015 a). Demgegenüber geht es der hier vorgestellten Wirkungsforschung („nur“) um die neutrale Erforschung von Wirkungen sowie die Erkundung entsprechender ursächlicher Kontexte, womit sie der Grundlagenforschung zuzuordnen ist. Anders als bei der Angewandten Sozialforschung, welche gezielt Grundlagen für außerwissenschaftliche Entscheidungsprozesse bereitstellt, liegt das Ziel der Grundlagenforschung einzig und allein in der verwertungsneutralen Wissensvermehrung (Clemens 2000, 215). Damit genießt die hier vorgestellte Wirkungsforschung grundsätzlich alle Vorteile der Grundlagenforschung (Kromrey 2001): Sie besitzt eine privilegierte, erkenntnistheoretische gewollte relative Autonomie bei der Wahl des Forschungsgegenstandes, ist prinzipiell werturteilsfrei angelegt und blendet außerwissenschaftliche Interessen im Entdeckungssowie Verwertungskontext aus. Zudem kann sie unter Entlastung von aktuellem Zeitdruck arbeiten, da sie nicht eingelöste versprochene Forschungsfragen unter weiterem Forschungsbedarf ausweisen kann. Schließlich kann sie sich sogar in dem Sinne „irren“, als dass sich anfangs gestellte Hypothesen im Verlauf der Forschung als falsch erweisen dürfen. Gleichzeitig besitzt diese Art von Wirkungsforschung aber auch speziell Vorteile gegenüber den anderen wirkungsorientierten Ansätzen, insbesondere gegenüber der Evidenzbasierten Wirkungsforschung. So macht sie explizit Wirkungen (und nicht etwa Effektivität oder Effizienz) zum Forschungsthema und bestimmt z. B. den Wirkungsbegriff vergleichsweise objektiv durch theoretische sowie normative Auseinandersetzungen und durch empirische Sekundäranalysen. Zudem berücksichtigt sie - im Gegensatz zu anderen Ansätzen, die die Erfolge/ Misserfolge der Sozialen Arbeit mit„harten“ belastbaren Fakten beweiskräftiger machen müssen und von daher „notgedrungen“ mit Methoden der empirischen Sozialforschung arbeiten müssen - methodische sowie methodologische Aspekte wie bspw. Fragen externer sowie interner Validität (Polutta 2013). Des Weiteren ist sie (vergleichsweise) politisch unabhängig. So ist der Feststellung von Albus/ Ziegler (2013), wonach Wirkungsforschung unverkennbar eine große Nähe zu unmittelbar politischen Fragen der Gestaltung sozialer Dienste besitzt, zunächst zuzustimmen. Allerdings trifft diese Feststellung bei der hier vorgestellten Wirkungsforschung nur dann zu, wenn diese (finanziell) von der Politik abhängig ist. Zudem muss erinnert werden, dass der politische Charakter der Wirkungsforschung eigentlich immer 222 uj 5 | 2016 Wirkungsforschung in der Kinder- und Jugendarbeit (nur) dann vermehrt entsteht, wenn die Wirkungen Sozialer Arbeit beurteilt werden, da derartige Beurteilungen immer auch Ergebnis politisch-normativer Entscheidungen sind. Bei der hier vorgestellten Wirkungsforschung ist jedoch nicht die Beurteilung von Wirkungen zentral, sondern die Erklärung ihres Zustandekommens. Darüber hinaus kann die hier vorgestellte Wirkungsforschung die Fachkräfte des Arbeitsfeldes verstärkt miteinbeziehen, wohingegen einige der anderen Ansätze diese überwiegend als passive Datenlieferanten betrachten. Ziel ist dabei nicht nur, eine gewisse Multiperspektivität auf Wirkungen zu erlangen, um so letztlich mehr Objektivität zu erreichen. Ziel ist vielmehr, die Wirkungsforschung gezielt um die Kompetenzen und das ExpertInnen-Wissen der Fachkräfte - bspw. in Form allgemeiner Einschätzungen oder sogar spezifischer Diagnosen - zu ergänzen. Schließlich können die AdressatInnen angemessen einbezogen werden. Zwar werden auch in anderen Ansätzen (z. B. bei der Entwicklung von Controllinginstrumenten) vermehrt Befragungsinstrumente für Kinder und ihre Eltern eingesetzt. Doch letztlich bleiben auch bei diesen Entwicklungen die AdressatInnen nur passive Datenlieferanten. Dies verhält sich bei der hier skizzierten Wirkungsforschung anders: zwar geht es ihr nicht um eine Stärkung der Rechte von AdressatInnen oder sogar um eine Verbesserung ihrer Lebensverhältnisse, so aber doch darum, AdressatInnen - als eigentliche ExpertInnen des Arbeitsfeldes - auf Augenhöhe zu begegnen und ihnen bewusst Raum zu lassen, damit diese ihre Aneignungs- und Nutzungsprozesse, ihre Sichtweisen und Einschätzungen sowie die von ihnen selbst wahrgenommenen Wirkungen schildern können. Dr. Maik-Carsten Begemann Hochschule Düsseldorf FB Sozial- und Kulturwissenschaften maik.begemann@hs-duesseldorf.de Münsterstr. 156 40476 Düsseldorf Literatur Albus, S., Micheel, H.-G., Polutta, A. (2011): Wirksamkeit. In: Otto, H.-U., Thiersch, H. (Hrsg): Handbuch Sozialer Arbeit. Reinbek, München, 1726 - 1733, http: / / dx.doi. org/ 10.2378/ ot4a.art173 Albus, S., Ziegler, H. (2013): Wirkungsforschung. In: Graßhoff, G. (Hrsg.): Adressaten, Nutzer, Agency. Akteursbezogene Forschungsperspektiven in der Sozialen Arbeit. Springer VS, Wiesbaden, 163 - 180, http: / / dx.doi.org/ 10.1007/ 978-3-531-19007-5_10 APA (2006): Report of the 2005 Presidental Task Force on Evidence-Based Practise. American Psychologist 6, 271 - 285 Baur, D., Finkel, M., Hamberger, M., Kühn, A. (1998): Leistungen und Grenzen von Heimerziehung. Ergebnisse einer Evaluationsstudie stationärer und teilstationärer Erziehungshilfen. Kohlhammer, Stuttgart Begemann, M.-C. (2013): Über die nach wie vor schwierige Kooperation von Jugendhilfe und Schule - ein systematischer Erklärungsversuch. In: Das Jugendamt. Zeitschrift für Jugendhilfe und Familienrecht, Heft 9, S. 442 - 446 Begemann, M.-C. (2015 a): Schulsozial wirkt - aber wie? Eine Diskussion über die Anwendung herkömmlicher Wirkungsnachweise aus der Jugendhilfe. In: Blätter der Wohlfahrtspflege, Heft 5, 186 - 188 Begemann, M.-C. (2015 b): Wirkungen der Kinder- und Jugendarbeit. Schwierigkeiten ihrer Messung und Vorschläge für zukünftige Forschungen. FORUM Jugendhilfe, Heft 3, 12 - 18 Begemann, M-C., Bröring, M., Düx, W., Sass, E. (2011): Jugendliche Aktivitäten im Wandel. Gesellschaftliche Beteiligung und Engagement in Zeiten des Web 2.0. Abschlussbericht, Dortmund Campbell, D. T., Stanley, J. C. (1963): Experimental and Quasi-Experimental Design for Research on Teaching. In: Gage, N. L. (Hrsg.): Handbook of Research on Teaching, Chicago, 171 - 246 223 uj 5 | 2016 Wirkungsforschung in der Kinder- und Jugendarbeit Clemens, W. (2000): Angewandte Sozialforschung und Politikberatung - Praxisbezüge empirischer Forschung am Beispiel der Alternsforschung. In: Clemens, W., Strübing, J. (Hrsg.): Empirische Sozialforschung und gesellschaftliche Praxis. Bedingungen und Formen angewandter Forschung in den Sozialwissenschaften. Opladen, 211 - 232, http: / / dx.doi.org/ 10.1007/ 978-3- 322-97475-4_12 Heimgärtner, A. (2013): Wie die Forschung tickt. In: Land Steiermark A 6 Bildung und Gesellschaft; FA Gesellschaft und Diversität - Referat Jugend (Hrsg.): jugendarbeit: wirkt. Versuch einer interdisziplinären Auseinandersetzung. Graz, 55 - 65 Kammerer, B. (Hrsg.) (2012): Zahlen, Daten, Fakten - Wissen und Wirkungen (in) der Kinder- und Jugendarbeit. Nürnberger Forum der Kinder- und Jugendarbeit 2011. Nürnberg Kromrey, H. (2001): Evaluation - ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. In: Sozialwissenschaften und Berufspraxis, 24. Jg., Heft 3/ 2001, 105 - 131 Land Steiermark A 6 Bildung und Gesellschaft; FA Gesellschaft und Diversität - Referat Jugend (Hrsg.) (2013): jugendarbeit: wirkt. Versuch einer interdisziplinären Auseinandersetzung. Graz, http: / / asset.cubic3.at/ fach stellnw/ 2072/ 4/ download_001.pdf Liebig, R./ Begemann, M.-C. (2008): Wirkungen als Forschungsgegenstand. In: Sozial Extra, H. 9, 45 - 48, http: / / dx.doi.org/ 10.1007/ s12054-008-0094-9 Lindner, W. (Hrsg.) (2008): Jugendarbeit wirkt. Aktuelle und ausgewählte Evaluationsergebnisse der Kinder- und Jugendarbeit. VS, Wiesbaden, http: / / dx.doi.org/ 10.1007/ 978-3-531-90904-2 Macsenaere, M. (2015): Das Messen von Wirkungen - eine Einführung. FORUM Jugendhilfe, Heft 3, 4 - 11 McNeece, A., Thyer, B. A. (2004): Evidence-Based Practice and Social Work. Journal of Evidence-Based Social Work (1) 1, 7 - 25, http: / / dx.doi.org/ 10.1300/ J394 v01n01_02 Micheel, H.-G. (2013): Methodische Aspekte der Wirkungsforschung. In: Graßhoff, G. (Hrsg.): Adressaten, Nutzer, Agency. Akteursbezogene Forschungsperspektiven in der Sozialen Arbeit. VS, Wiesbaden, 181 - 193, http: / / dx.doi.org/ 10.1007/ 978-3-531-19007-5_ 11 Polutta, A. (2013): Wirkungsorientierung in der Jugendhilfe. In: Graßhoff, G. (Hrsg.): Adressaten, Nutzer, Agency. Akteursbezogene Forschungsperspektiven in der Sozialen Arbeit. VS, Wiesbaden, 195 - 210, http: / / dx.doi.org/ 10.1007/ 978-3-531-19007-5_12 Schaarschuch, A., Oelerich, G. (2005): Theoretische Grundlagen und Perspektiven sozialpädagogischer Nutzerforschung. In: Oelerich, G., Schaarschuch, A. (Hrsg.): Soziale Dienstleistungen aus Nutzersicht - Zum Gebrauchswert Sozialer Arbeit. Reinhardt, München, 9 - 25 Schmidt, M. H. et al. (2002): Effekte erzieherischer Hilfen und ihre Hintergründe. Kohlhammer, Stuttgart Wendt, P.-U. (2012): „Na klar, Jugendarbeit wirkt, aber warum darüber reden? “, In: Kammerer, B. (Hrsg.): Zahlen, Daten, Fakten - Wissen und Wirkungen (in) der Kinder- und Jugendarbeit. Nürnberger Forum der Kinder- und Jugendarbeit 2011. Nürnberg, 85 - 105