Psychologie in Erziehung und Unterricht, 2013, 60, 26 - 31 DOI 10.2378/ peu2013.art02d © Ernst Reinhardt Verlag München Basel n Stichwort Ein Unterrichtsentwicklungsprogramm wissenschaftlich begleiten Anlage und Hintergründe des Forschungsdesigns Claudia Fischer, Mareike Kobarg, Inger Marie Dalehefte, Franziska Trepke Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel Evaluating a Professional Development Program - Leading Ideas of the Research Design Summary: Model programs should be evaluated to determine whether they are going in the concept’s direction and how they can be improved. Evaluation has also to prove effects and effectiveness of programs. Teaching development programs are expected to enhance students’ motivation, interest and learning outcomes while training teachers on their job. The article presents a multi methodical evaluation design including several studies and is conceived to accompany a long lasting development program. It frames the design theoretically and discusses both positive and more critical aspects of the procedures. Keywords: Model program, teaching development, evaluation, research design, multiple methods Zusammenfassung: Modellprogramme müssen wissenschaftlich begleitet werden, damit ihre Steuerung, die Beobachtung der Umsetzung des Konzepts und die Aussagen über Wirkungen und Wirksamkeit möglich sind. Bei Programmen zur Unterrichtsentwicklung, die sich an die Zielgruppe der Lehrkräfte richten, sollen sich die Wirkungen in einer positiveren Kompetenzentwicklung der Lernenden zeigen. Wie ein Begleitforschungsdesign aussehen kann, das diesen Anspruch mit der Forderung nach Alltagstauglichkeit und Angemessenheit an das Untersuchungsfeld verbindet, darüber berichtet der vorliegende Beitrag. In diesem Artikel wird ein multiple Methoden nutzendes Begleitforschungsdesign vorgestellt, in einem Theorierahmen verortet und es werden Vorzüge und Nachteile des Vorgehens diskutiert. Schlüsselbegriffe: Modellprogramm, Unterrichtsentwicklung, wissenschaftliche Begleitforschung, Forschungsdesign, multiple Methoden Programme wissenschaftlich begleiten Seit mehreren Jahrzehnten werden in Deutschland öffentlich geförderte Modellprogramme zur Qualitätsentwicklung im Bildungswesen durchgeführt. Ende der 1990er Jahre legte eine Richtlinie der Bund-Länder-Kommission für Bildungsplanung und Forschungsförderung (BLK) fest, dass Maßnahmen wissenschaftlich begleitet und evaluiert werden müssen, wobei das inhaltliche, fachliche und methodische Konzept und die eingesetzten Verfahren der Beobachtung und Überprüfung der Wirkungen zu beurteilen sind (BLK, 1997 a). Evaluation als durch einen Auftraggeber angestoßene Forschung soll erkennen lassen, wie künftige Programme verbessert werden können, ob eine Fortführung sinnvoll und der personelle und sachliche Aufwand gerechtfertigt ist (Wottawa & Thierau, 1998). Im folgenden Beitrag wird ein mögliches Forschungsdesign vorgestellt, in einem theoretischen Rahmen verortet und es werden Möglichkeiten und Grenzen des Vorgehens aufgezeigt. Wissenschaftliche Begleitung eines Unterrichtsentwicklungsprogramms 27 SINUS-Programme zur Unterrichtsentwicklung Unter der Bezeichnung SINUS (Steigerung der Effizienz des mathematisch-naturwissenschaftlichen Unterrichts) richteten 1998 Bund und Länder gemeinsame Programme ein, um die domänespezifische Kompetenz der Lernenden an Sekundarschulen zu verbessern (BLK, 1997 b). Die stärkere Professionalisierung (langjährig) berufserfahrener Lehrkräfte galt dafür als entscheidender Hebel. Lehrpersonen sollten ihr fachliches und methodisches Wissen und Können in kollegialer Zusammenarbeit in einzelnen Schulen und schulnahen Netzwerken so ausbauen, dass sie zentrale Entwicklungsbereiche des Unterrichts bearbeiten und verändern können. Zunächst für weiterführende Schulen konzipiert, wurde das Konzept 2004 an die Erfordernisse der Grundschulen angepasst (SINUS-Transfer Grundschule). Dieser Beitrag bezieht sich auf das aktuelle und letzte Programm SINUS an Grundschulen (2009 - 2013). Es wird von zehn Bundesländern mit bundesweit 850 Grundschulen und über 4000 Lehrkräften getragen. Das Programm wird zentral koordiniert und wissenschaftlich begleitet (Fischer & Prenzel, 2009). SINUS-Programme kombinieren einen top-downmit einem bottom-up-Ansatz und sind darauf angelegt, das Wissen der Beteiligten zu erhöhen, ihre Fähigkeiten zu verbessern und ihre Haltung zu verändern. Lehrkräfte werden zum Überdenken der Handlungsroutinen angeregt und dabei unterstützt, diese an die veränderten Voraussetzungen bei den Lernenden und die optimale Unterstützung ihres Wissenserwerbs anzupassen. Qualitätsmerkmale von Professionalisierungsmaßnahmen Maßnahmen, die sich an berufserfahrene Lehrkräfte wenden und diese im Hinblick auf die Weiterentwicklung ihrer Professionalität trainieren, zielen auf die Verbesserung der Unterrichtsqualität (Borko, 2004). Zahlreiche Forschungsarbeiten befassen sich mit Merkmalen erfolgreicher Professionalisierungsprogramme (z. B. Ball & Cohen, 1999; Garet, Porter, Desimone, Birman & Yoon, 2001; Desimone, 2009). Unter Erfolg verstehen sie, dass die Programme zu einer Änderung der Einstellungen, des Verhaltens und der Handlungsroutinen beitragen und diese Veränderungen letztendlich die Leistungen der Lernenden, ihr Wissen und Können positiv beeinflussen (Slavin, 2008 a, 2008 b). Als effektiv in diesem Sinne haben sich Trainings erwiesen, die folgende fünf Merkmale aufweisen: - Der inhaltliche Schwerpunkt liegt auf Entwicklungsbereichen des Unterrichts, - Lehrpersonen lernen aktiv und entwickeln eigene, maßgeschneiderte Lösungen für tatsächlich existierende Probleme, - mehrere Lehrkräfte aus einer Schule arbeiten kollegial zusammen, auch schulübergreifend, - das Programm ist inhaltlich und organisatorisch strukturiert, wird koordiniert und - über einen längeren Zeitraum durchgeführt. Alle SINUS-Programme weisen diese Merkmale auf. Wirkungen und Wirksamkeit von Trainingsmaßnahmen feststellen Professionalisierungsmaßnahmen verfolgen Ziele unterschiedlicher Komplexität und Reichweite. Programme, in denen über mehrere Jahre Professionalität aufgebaut wird, können mit einem gestuften Vorgehen auf unterschiedlichen Ebenen untersucht werden (Ball & Cohen, 1999; Desimone, 2009; Kirkpatrick & Kirkpatrick, 2012). Erfasst werden: (1) die Reaktionen der teilnehmenden Lehrkräfte, ihre Akzeptanz der Maßnahme und das Ausmaß, in dem sie sich unterstützt fühlen (reaction), (2) die Weiterentwicklung der Lehrkräfte durch die Programmarbeit, z. B. im Hinblick auf ihr professionelles Wissen und ihre Einstellungen (learning), 28 Claudia Fischer et al. (3) die Umsetzung der Inhalte in die Praxis, z. B. in den täglichen Unterricht (behavior), (4) die Wirksamkeit für das Lernen und die Leistung der Schülerinnen und Schüler als Ergebnis oder Produkt der Maßnahme (results). Dem Vorgehen liegt der Gedanke des stufenweisen Aufbaus der Professionalität zugrunde: Ohne Akzeptanz der Maßnahme fehlt die Bereitschaft zu lernen. Wissen und veränderte Einstellungen müssen zunächst im Unterricht umgesetzt und die Tragfähigkeit der gefundenen Lösung überprüft werden, bevor Handlungsroutinen entwickelt werden können, die auf das Lernen der Schülerinnen und Schüler wirken und dort messbar sind. Kirkpatrick & Kirkpatrick (2012) weisen darauf hin, dass bei vielen Maßnahmen lediglich die beiden ersten Ebenen evaluiert werden. Die kritische Schwelle stellt der Übergang von Ebene 2 zu Ebene 3 dar. Er entscheidet, ob ein Programm in der täglichen Praxis wirkt. Zur Beurteilung der längerfristigen Wirksamkeit müssen daher auch die Ebenen 3 und 4 untersucht werden. Studien der Begleitforschung im Programm SINUS an Grundschulen 2009 wurde ein Konzept für die Begleitforschung entwickelt, um das Programm während seiner vierjährigen Laufzeit ständig zu beobachten. Tabelle 1 zeigt die Verortung der Studien in den von Kirkpatrick & Kirkpatrick (2012) entwickelten Auswertungsebenen. Während der Programmlaufzeit werden Informationen zu allen der vier oben dargestellten Auswertungsebenen erfasst. Die Gesamtbefragung ist eine Vollerhebung und erfasst zu Programmbeginn die Haltungen aller Lehrkräfte und aller Schulleitungen sowie die Akzeptanz und das Ausmaß, in dem sich die Befragten unterstützt fühlen (Ebene 1). Diese Befragung wird zum Programmende wiederholt und liefert Informationen auf Ebene 1 sowie Hinweise, wie sich die Lehrkräfte und ihre Einstellungen weiterentwickelt haben (Ebene 2). Zu Beginn des Programms werden in einer randomisierten und geschichteten Stichprobe Dokumentationen der Lehrpersonen eingezogen und gesichtet, in denen sie als Schulgruppe ihr Vorgehen anhand eines strukturierten Formu- Auswertungsebenen nach Kirkpatrick & Kirkpatrick (2012) Studien in SINUS an Grundschulen Ebene 1: reaction Ebene 2: learning Ebene 3: behavior Ebene 4: results Gesamtbefragung 2010 X Gesamtbefragung 2013 X X Dokumentationen der Lehrpersonen X X Videostudie X X Leistungsdatenerhebung (Ländervergleich Primarstufe Mathematik und TIMSS) X Fallstudien X X X X Tab. 1: Verortung der Studien in den vier Auswertungsebenen Wissenschaftliche Begleitung eines Unterrichtsentwicklungsprogramms 29 lars darstellen. Diese Studie erlaubt Einblicke in den Entwicklungsstand der Arbeit der Gruppe (Ebene 2). Ihre Wiederholung während der Laufzeit lässt erkennen, in welchem Umfang Programminhalte die unterrichtlichen Überlegungen beeinflussen (Ebene 3). Einige Lehrpersonen beteiligen sich auf freiwilliger Basis an einer Videostudie, in der mehrmals wiederholt Unterrichtsstunden videografiert und ausgewertet werden. Die ersten Videoaufnahmen lassen Aussagen über den professionellen Entwicklungsstand der Lehrkräfte zu (Ebene 2), während die folgenden Aufnahmen über den Vergleich Veränderungen der Unterrichtspraxis erkennen lassen (Ebene 3). Die Beteiligung einer Kontrollgruppe mit Nicht-SINUS-Lehrkräften erlaubt es, Effekte des Programms eindeutiger auf die Intervention zurückzuführen. Der Ländervergleich Primarstufe Mathematik und die TIMS-Studie zu den Naturwissenschaften, bei denen SINUS-Schulen Teil der Gesamtstichprobe sind, liefern Erkenntnisse über den Kompetenzstand der Lernenden aus SINUS-Schulen im Vergleich mit Lernenden aus nicht am Programm beteiligten Schulen (Ebene 4). Aus methodischen Gründen umfasst die Stichprobe lediglich Schulen mit langjähriger Programmerfahrung (seit 2004). Für die Fallstudien werden zweimal in vier Jahren Unterlagen analysiert, die zeigen, wie stark der innovative Prozess auf den Normalbetrieb der Institution wirkt. Hier fließen die auf der Schulebene aggregierten Ergebnisse aus den Einzelstudien ein (Gesamtbefragungen, Dokumentationen, bei langjährigen Schulen TIMSS und Ländervergleich Mathematik). Zusätzlich werden weitere Unterlagen analysiert (z. B. Schulkonferenzbeschluss, der erkennen lässt, welche Absichten die Schule mit dem Programm verfolgt; Schulprogramm; Ergebnisse aus den Vergleichsarbeiten (VERA) für die dritte Jahrgangsstufe; je ein ausführliches Interview mit der Schulleitung und den SINUS-Lehrkräften). Die Analyse stützt Prognosen über die Beibehaltung bestimmter Vorgehensweisen nach Programmende und lässt über den Vergleich der VERA-Daten, die TIMSS- und Ländervergleichs-Ergebnisse auch Aussagen über die Kompetenzentwicklung der Lernenden zu (Ebenen 1 bis 4). Abbildung 1 stellt die Studien grafisch dar und veranschaulicht Merkmale der Stichproben. Gesamtbefragung 2010: aus allen Schulen: 332 Schulleitungen & 1662 Lehrpersonen 2013: ca. 850 Schulleitungen & ca. 3500 Lehrpersonen 4 jährliche Zwischenberichte aus allen beteiligten Ländern (2010, 2011, 2012, 2013) Ländervergleich Mathematik TIMSS 2011 80 Schulen (nur erfahrene) Videostudie 12 Lehrpersonen (freiwillige Teilnahme) Dokumentationen 2010: 48 Schulen 2012: 45 Schulen Fallstudien 2010: 19 Schulen 2012: 15 Schulen Abb. 1: Studien in SINUS an Grundschulen (Stand: 2012) 30 Claudia Fischer et al. Möglichkeiten und Grenzen des Vorgehens Die Anlage der Begleitforschung bietet mehrere Chancen: - Die Befunde aus den Studien helfen, Merkmale der Lehrkräfte, des Unterrichts, der Lernenden, der Schulleitung oder des Gesamtkollegiums aufzuklären. Da zahlreiche Rahmenbedingungen und Strukturen erfasst werden, kann auch der Einfluss bestimmter Ressourcen (z. B. Qualität der Beratung, Nutzen des inhaltlichen Inputs, Unterstützung durch Fortbildung) auf die Professionsentwicklung festgestellt werden. - Die Studien sind fast gleichmäßig über die vierjährige Laufzeit verteilt. Einige Studien werden einmal durchgeführt, andere unter Einsatz derselben Instrumente wiederholt (z. B. Gesamtbefragung). Die Daten lassen somit sowohl querals auch längsschnittliche Betrachtungen zu. Gerade wenn es um Entwicklungsprozesse geht, ist ein Längsschnitt im Sinne einer Veränderungsfeststellung über mehrere Messzeitpunkte interessant. Querschnittsdaten, wie die aus den beiden Leistungsvergleichen, benötigen eine Kontrollgruppe (hier: Lernende aus Nicht- SINUS-Schulen), damit die Wirkungen des durch SINUS-Lehrkräfte erteilten Unterrichts eingeschätzt werden können. - Die Studien setzen verschiedene Instrumente ein (Fragebögen, strukturierte Abfrageinstrumente, teilstandardisierte Formulare, standardisierte Tests, Video) und kombinieren qualitative und quantitative Verfahren (Fischer, Kobarg, Dalehefte & Trepke, 2012). Mit diesem multimethodischen Zugang können die Domänen Programmsteuerung, Unterrichtsentwicklung und Programmwirkungen fokussiert werden. Die Verknüpfung der Daten aus den Einzelstudien erhöht die Vollständigkeit und Aussagekraft der Befunde. Wenn die Selbstberichte der Lehrkräfte deutliche Professionalisierungsfortschritte zeigen und auf Zugewinne an Selbstwirksamkeit und erhöhte Fachkompetenz hinweisen, können die extern beobachteten Daten der Videostudie genutzt werden, um festzustellen, wie sich der subjektiv erfahrene Fortschritt im professionellen Handeln niederschlägt und wie das auf Lehrkräfte, Unterricht und Lernende wirkt. Befunde, die unter Einsatz multipler Methoden gewonnen werden, beruhen auf einer breiteren Datengrundlage und lassen sich zur gegenseitigen Absicherung und zum Aufdecken von Inkonsistenzen nutzen. Herausforderungen und Grenzen des Vorgehens liegen in den finanziellen Ressourcen, die durch die Auftraggeber bereitgestellt werden. Aufgrund der besonderen Belastung von Lehrkräften und Schulen kommen z.T. nur kleine Stichproben zustande, und es gibt eine relevante Panelmortalität. Da die Beteiligung am Programm freiwillig ist, kann davon ausgegangen werden, dass vor allem ohnehin interessierte und motivierte Lehrpersonen mitmachen. Manche Aussagen über den Stand der Professionalität sind daher nur eingeschränkt auf die gesamte Lehrerpopulation übertragbar. Die genannten Einschränkungen gelten generell für Professionsentwicklungsprogramme (Kobarg, Fischer, Dalehefte, Trepke & Menk, 2012). Vor dem Hintergrund der genannten Schwierigkeiten dient der Einsatz multipler Methoden dazu, ein möglichst umfassendes Bild des gesamten Entwicklungsprozesses (sowohl unter Berücksichtigung der positiven als auch der negativen Einflussfaktoren) zu erhalten. Zusammenfassung Die Notwendigkeit, öffentlich geförderte Modellprogramme hinsichtlich der durch sie erzielten Wirkungen zu überprüfen, kann als unstrittig gelten. Dies gilt auch für Maßnahmen der Lehrerprofessionalisierung mit dem Ziel der Unterrichtsentwicklung. Studien der Evaluation und Begleitforschung beschränken sich allerdings häufig darauf, die Reaktionen der Teilnehmenden auf der Ebene der Kundenzufriedenheit und des subjektiv verzeichneten Wissenschaftliche Begleitung eines Unterrichtsentwicklungsprogramms 31 Entwicklungsfortschritts zu erfassen (Kirkpatrick & Kirkpatrick, 2012). Im Sinne der Einschätzung der Wirksamkeit wäre aber auch die Untersuchung der Umsetzung der Programminhalte in die Praxis und der Auswirkungen der veränderten Lehrerprofessionalität auf die Schülerkompetenz wichtig. Das in diesem Beitrag vorgestellte Design für die Begleitforschung des Programms SINUS an Grundschulen integriert alle vier Ebenen und versucht, den besonderen Bedingungen (Begrenztheit der finanziellen Ressourcen, starke Beanspruchung der Lehrkräfte mit einer Fülle von Aufgaben) durch eine alltagstaugliche Anlage der Studien Rechnung zu tragen. Literatur Ball, D. L. & Cohen, D. K. (1999). Developing practice, developing practitioners: Toward a practice-based theory of professional education. In G. Sykes & L. Darling-Hammond (Eds.), Teaching as the learning profession: Handbook of policy and practice (pp. 3 - 32). San Francisco: Jossey Bass. Borko, H. (2004). Professional development and teacher learning: Mapping the terrain. Educational Researcher, 33 (8), 3 - 15. Bund-Länder-Kommission für Bildungsplanung und Forschungsförderung (BLK) (1997 a). Neuordnung der Modellversuchsförderung. Bonn: BLK. Zugriff am 9. 2. 2004 http: / / www.blk-bonn.de/ modellversuche/ neuordnung.htm Bund-Länder-Kommission für Bildungsplanung und Forschungsförderung (BLK) (1997 b). Gutachten zur Vorbereitung des Programms „Steigerung der Effizienz des mathematisch-naturwissenschaftlichen Unterrichts“ (Reihe Materialien zur Bildungsplanung und Forschungsförderung, Heft 60). Bonn: BLK. Zugriff am 20. 6. 2012 http: / / www.ipn.uni-kiel.de/ projekte/ blk_ prog/ gutacht/ index.htm Desimone, L. M. (2009). Improving Impact Studies of Teachers’ Professional Development: Toward Better Conceptualizations and Measures. Educational Researcher, 38 (3), 181 - 199. Fischer, C., Kobarg, M., Dalehefte, I. M. & Trepke, F. (2012). Wirkungen von Maßnahmen zur Lehrerprofessionalisierung feststellen - Unterrichtsentwicklung im Programm SINUS an Grundschulen mit verschiedenen Instrumenten und Methoden erheben. In Gläser-Zikuda, M., Seidel, T., Rohlfs, C., Gröschner, A. & Ziegelbauer, S. (Hrsg.), Mixed Methods in der empirischen Bildungsforschung (S. 195 - 208). Münster u. a. O.: Waxmann. Fischer, C. & Prenzel, M. (unter Mitarbeit von Rieck, K., Dedekind, B., Trepke, F. & Achenbach, T.). (2009). Skizze für ein länderübergreifendes Anschlussvorhaben SINUS an Grundschulen. Kiel: IPN. Zugriff am 20. 6. 2012 http: / / www.sinus-an-grundschulen.de/ fileadmin/ uploads/ Material_aus_SGS/ Programmskizze_ SaG_fuer_Web.pdf Garet, M. S., Porter, A. C., Desimone, L., Birman, B. F. & Yoon, K. S. (2001). What makes professional development effective? Results from a national sample of teachers. American Educational Research Journal, 38 (4), 915 - 945. Kirkpatrick, D. L. & Kirkpatrick, J. D. (2012). Evaluating Training Programs. The Four Levels (3rd ed.). San Francisco: Berrett-Koehler Publishers Inc. Kobarg, M., Fischer, C., Dalehefte, I. M., Trepke, F. & Menk, M. (Hrsg.). (2012). Maßnahmen zur Lehrerprofessionalisierung wissenschaftlich begleiten - verschiedene Strategien nutzen. Münster u. a. O.: Waxmann. Slavin, R. E. (2008 a). Perspectives on Evidence-Based Research in Education. What works? Issues in Synthesizing Educational Program Evaluations. Educational Researcher, 37 (1), 5 - 14. Slavin, R. E. (2008 b). Evidence-Based Reform in Education: Which Evidence Counts? Educational Researcher, 37 (1), 47 - 50. Wottawa, H. & Thierau, H. (1998). Lehrbuch Evaluation (2. Aufl.). Bern: Huber. Dr. Claudia Fischer Dr. Mareike Kobarg Dr. Inger Marie Dalehefte Dipl. Päd. Franziska Trepke Programm SINUS an Grundschulen Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel (IPN) Olshausenstr. 62 24098 Kiel Fax: (04 31) 8 80 26 29 E-Mail: cfischer@ipn.uni-kiel.de