Zur Unterstützung der Persönlichkeitsförderung von Schülerinnen und Schülern gibt es im schulischen Kontext eine Vielzahl von Programmen und Maßnahmen. Mit dem Ziel der Stärkung so genannter allgemeiner Lebenskompetenzen (Life-Skills-Ansatz; s. Jerusalem, Klein-Heßling & Mittag, 2003) zählen hierzu beispielsweise Programme zur Förderung ge- Degree of Implementation and Effects of a Program Fostering Self-Efficacy Summary: The present contribution analyzes the effects of a school-related intervention program aiming at fostering self-efficacy, depending on its degree of implementation. To fostering students self-efficacy trained teachers used transparency papers before tests in class. Transparency papers explain demands, assessment criteria and preparation options to master tests at school. They are to inform pupils about specific and attainable immediate objects, and by this to strengthen self-efficacy beliefs and to reduce test anxiety. The frequency of usage of transparency papers by trained teachers was used as an implementation indicator. The frequency of using this strategy assessed over a period of one school-year in 12 classes (grades 7 and 8) turned out to vary over classes. Results of HLM-analyses demonstrate that with higher numbers of transparency use pupils perceived more positive changes in learning environment and higher self-efficacy beliefs. No effects, however, were found for test anxiety. The results underline the importance of assessing the implementation degree for the evaluation of school intervention measures that have to be performed by trained teachers. Keywords: Self-efficacy, test-anxiety, implementation Zusammenfassung: Der Beitrag untersucht, ob die Wirkung eines Programms zur Förderung von Selbstwirksamkeit davon abhängt, wie intensiv das Programm umgesetzt wird. Als Maßnahme zur Förderung von Selbstwirksamkeit werden Transparenzpapiere vor Klassenarbeiten im Unterricht von geschulten Lehrern eingesetzt. Transparenzpapiere verdeutlichen Anforderungen, Bewertungskriterien und Vorbereitungsmöglichkeiten für Klassenarbeiten. Sie sollen spezifische, erreichbare Nahziele vermitteln, Selbstwirksamkeit stärken und Prüfungsängstlichkeit mindern. Als Indikator der Implementation dient die Häufigkeit, mit der Transparenzpapiere von den Lehrern im Unterricht eingesetzt werden. Die Häufigkeit, mit der Transparenzpapiere in den untersuchten 12 Klassen der 7. und 8. Klassenstufen über ein Schuljahr eingesetzt wurden, variierte zwischen den Klassen. HLM-Analysen zeigen, dass mit zunehmendem Einsatz von Transparenzpapieren auf Schülerseite günstigere Wahrnehmungen der Lernumwelt und der schulischen Selbstwirksamkeit einhergehen. Für die Prüfungsängstlichkeit ergaben sich jedoch keine Effekte. Die Ergebnisse unterstreichen die Notwendigkeit, das Ausmaß der Implementation für die Evaluation von schulbezogenen Interventionsmaßnahmen, die über trainierte Lehrer vermittelt werden, mit zu erfassen. Schlüsselbegriffe: Selbstwirksamkeit, Prüfungsängstlichkeit, Implementation ■ Empirische Arbeit Implementationsgrad und Wirkungen eines Programms zur Förderung von Selbstwirksamkeit Bettina Röder, Matthias Jerusalem Humboldt-Universität zu Berlin Psychologie in Erziehung und Unterricht, 2007, 54, 30 - 46 © Ernst Reinhardt Verlag München Basel Wirkungen eines Programms zur Förderung von Selbstwirksamkeit 31 sundheitsbezogenen Verhaltens bzw. zur Suchtprävention (Mittag & Jerusalem, 1998, 1999; Resnicow et al., 1992), zur Gewaltprävention durch Stärkung sozialer Kompetenzen und des Sozialverhaltens (Aßhauer & Hanewinkel, 2000) oder zur Verbesserung der Lernmotivation und des Selbstwertgefühls durch selbstwertdienliche Attributionen (Ziegler & Schober, 1998). Das übergreifende und gemeinsame Förderkonzept dieser Ansätze liegt in der Stärkung persönlicher Ressourcen und Kompetenzen von Schülern z. B. im Hinblick auf Stressbewältigungsfähigkeiten, Problemlösekompetenzen oder soziale Fertigkeiten. Meist werden solche Programme von in gesonderten Trainings geschulten Lehrern während des regulären Unterrichts umgesetzt. Ein typisches Beispiel dafür sind die Lehrertrainings von Rheinberg und Krug (2005) zur Motivationsförderung bei Schülern. Die Untersuchungen hierzu zeigen, dass allein die Teilnahme von Lehrern an einem Training bei Schülern keine Wirkungen hervorruft, sondern nur bei konzeptadäquat gelingender Umsetzung der Maßnahmen in den Unterricht günstige Effekte bei Schülern zu erwarten sind. Das bedeutet jedoch nicht, dass Programme nur dann wirksam sind, wenn sie von Lehrern oder anderen vermittelnden Personen genau so umgesetzt werden, wie dies durch das Programm vorgesehen ist. Diese Herangehensweise, die im Rahmen der Implementationsforschung als „fidelity“-Perspektive bezeichnet wird, ist in den meisten Fällen kaum realisierbar (Gräsel & Parchmann, 2004). Oft sind Abweichungen von den genauen Vorgaben des Programms bei der Umsetzung notwendig, um die Maßnahme an spezifische Gegebenheiten der Schule bzw. der Institution anzupassen (McGrew, Bond, Dietzen & Salyers, 1994). Im Rahmen dieses so genannten „mutual adaption“-Ansatzes wird davon ausgegangen, dass die Möglichkeit der Programmmodifikation entsprechend den individuellen Bedürfnissen dazu führt, dass das Programm auch eher umgesetzt wird (Dusenbury, Brannigan, Falco & Hansen, 2003). Notwendige Voraussetzung ist dabei die Kenntnis darüber, welche Elemente des Programms verändert werden können, ohne die Wirksamkeit der Maßnahme zu beeinträchtigen (Dusenbury et al., 2003; McGrew et al., 1994; Snyder, Bolin & Zuwalt, 1992). Trotz der Bedeutung der Implementation zur Erzielung von Programmwirkungen wird im Rahmen der Evaluation solcher Trainings die Vermittlung der Maßnahmen durch die Lehrer häufig als gegeben vorausgesetzt und leider deshalb oft nicht mit erfasst. Bei der Umsetzung in den Unterricht ergeben sich jedoch zahlreiche Hindernisse im schulischen Alltag, die als mögliche Gründe für eine unzureichende Implementation und Wirksamkeit von Maßnahmen zu berücksichtigen sind. Dazu gehören etwa ein curricular überfrachteter Stundenplan mit wenig Freiraum für Förderaktivitäten, eine nicht hinreichende Kompetenz oder Motivation aufgrund eines schlechten Lehrertrainings, mangelhafte Unterstützung durch die Schulleitung oder einfach Zeitprobleme. Auch der Wegfall von begleitenden und unterstützenden Maßnahmen über die Einführungsphase eines Projekts hinaus kann für eine mangelhafte Implementation mitverantwortlich sein (Gräsel & Parchmann, 2004). Neben diesen Barrieren oder implementationshinderlichen Bedingungen gibt es aber auch Faktoren, die sich implementationsförderlich auswirken, bspw. die Zusammenarbeit und gegenseitige Unterstützung von Lehrerinnen und Lehrern im Kollegium bei der Umsetzung von Maßnahmen (Baldwin & Ford, 1988; Colquitt, LePine & Noe, 200; Kobusch & Quentin, 1998; Noe, 1986). In Abhängigkeit von solchen förderlichen oder hinderlichen Bedingungen bei der Umsetzung kann der Implementationsgrad von Interventionsmaßnahmen natürlich stark variieren (Scheirer, Shediac & Cassidy, 1995). Im Rahmen der Evaluation von Programmen sollten deshalb Daten zur Implementation unbedingt mit erfasst werden (McGraw et al., 2000). Denn erst dadurch wird es überhaupt möglich, Aussagen über die Wirksamkeit und den Erfolg einer Maßnahme machen zu können. Bei einem geringen Ausmaß der Implementation ist beispielsweise auch 32 Bettina Röder, Matthias Jerusalem nur mit einer geringen Wirksamkeit der Maßnahme zu rechnen (Dane & Schneider, 1998). Implementationsdaten sind demnach als Teil der Prozessevaluation zu berücksichtigen. Im vorliegenden Beitrag soll im Hinblick auf ein schulisches Interventionsprojekt untersucht werden, inwieweit verschiedene Implementationsgrade dessen Wirksamkeit beeinflussen können. Im Rahmen des Interventionsprojektes zur Förderung von Selbstwirksamkeit und Selbstbestimmung im Unterricht (FoSS-Projekt 1 ) wurde zu diesem Zweck das Ausmaß der Implementation der Maßnahmen systematisch mit erhoben. Das Interventionsprojekt ist als Fortbildungsprogramm für Lehrerkollegien konzipiert, wobei Lehrerinnen und Lehrer im Rahmen von Workshops Strategien für ihren regulären Unterricht erarbeiten, die auf die Förderung von Selbstwirksamkeit und Selbstbestimmung bei Schülern abzielen. Im Sinne des „mutual adaption“-Ansatzes werden den Lehrern Konzepte zur Förderung von Selbstwirksamkeit und Selbstbestimmung vorgestellt, die sie während des Workshops zu Schuljahresbeginn für ihren eigenen Unterricht anpassen und anschließend während des gesamten Schuljahres umsetzen sollen. Ein Schwerpunkt der Workshops, auf den sich auch der vorliegende Beitrag konzentriert, lag auf der Stärkung von Selbstwirksamkeit und Selbstbestimmung durch die Förderung von motiviertem Lernen. Lernmotivation von Schülern kann unter anderem durch das Ermöglichen von Erfolgserlebnissen im Unterricht gefördert werden. Die Schaffung von günstigen Lernumweltbedingungen spielt dabei eine wichtige Rolle. Dazu zählt beispielsweise die Gestaltung einer angstfreien Lernumgebung, indem die Anforderungen und Bewertungsrichtlinien für Klassenarbeiten und Tests offen gelegt werden (Strittmatter, 1997). Auch die Vorgabe von spezifischen und erreichbaren Nahzielen im Unterricht ermöglicht es Schülern eher, Erfolgserlebnisse zu haben. Werden im Unterricht konkrete Nahziele formuliert, erscheinen Aufgaben und Anforderungen für Schüler durch Anstrengung und Vorbereitung eher bewältigbar bzw. erreichbarer, womit Erfolgserlebnisse wahrscheinlicher werden. Nahziele als Möglichkeiten für Erfolgserlebnisse im Unterricht stärken damit zugleich die Kompetenzüberzeugungen von Schülern im Hinblick auf die Meisterung von schulischen Aufgaben und Anforderungen. Hohe Kompetenzüberzeugungen wiederum fördern Anstrengung und Ausdauer bei der Bewältigung von Aufgaben, was dazu führt, dass die Chancen für Erfolg steigen und tatsächliche Erfolge wahrscheinlicher werden (Pintrich & Schunk, 2002; Schunk, 1991; Zimmerman, 2000). Erfolgserlebnisse und Selbstwirksamkeitserwartungen können sich auf diese Weise gegenseitig verstärken und stabilisieren (Bandura, 1997). Eine Möglichkeit, solche Lernumweltbedingungen zu schaffen, besteht in der Anfertigung von so genannten Transparenzpapieren vor Klassenarbeiten und Tests (Strittmatter, 1997). Transparenzpapiere werden als Vorbereitungshilfe für Klassenarbeiten an Schüler ausgegeben. Sie umfassen die Anforderungen, Bewertungskriterien und Konsequenzen der Leistungsbewertung einer Arbeit bzw. eines Tests. Da Schüler oft nicht wissen, was sie für eine Klassenarbeit eigentlich können müssen und wie sie sich darauf vorbereiten sollen, trägt die Verwendung von Transparenzpapieren dazu bei, dass der zu beherrschende Stoff bekannt ist und in Nahziele untergliedert wird. Die Schüler werden somit darin unterstützt, eine zunächst schwierige und umfangreiche Aufgabe (wie das Lernen für eine Klassenarbeit) in Teilschritten anzugehen und Schritt für Schritt zu meistern. Auf diese Weise werden schulische Leistungssituationen von Schülern als kontrollierbarer und weniger bedrohlich wahrgenommen wird. Werden Transparenzpapiere regelmäßiger, selbstverständlicher Teil des Unterrichts, sollte sich das förderlich auf die schulbezogenen Selbstwirksamkeitserwartungen von Schülern auswirken und zu einer Reduktion der Prüfungsängstlichkeit führen. Im Rahmen des Interventionsprojektes „Förderung von Selbstwirksamkeit und Selbstbestimmung im Unterricht“ wurde den teil- Wirkungen eines Programms zur Förderung von Selbstwirksamkeit 33 nehmenden Lehrerinnen und Lehrern im Workshop „Motiviertes Lernen“ insbesondere die Verwendung von Transparenzpapieren als Unterrichtsstrategie vorgeschlagen. Diese Unterrichtsstrategie fand bei den meisten Lehrern großen Anklang und wurde im Anschluss an den Workshop auch mehrfach erprobt bzw. eingesetzt. Die von den Lehrern im Verlauf des Schuljahres erstellten Transparenzpapiere haben etwa einen Umfang von einer halben bis einer A4- Seite. Ein Beispiel für ein solches Transparenzpapier, dass von einer beteiligten Lehrerin erarbeitet wurde, findet sich im Anhang A. Die Transparenzpapiere sollten mehrere Tage vor der Klassenarbeit an die Schüler ausgegeben werden. Sie umfassen die Themenbereiche der bevorstehenden Arbeit, Möglichkeiten, wie man sich auf die einzelnen Themenbereiche vorbereiten kann und Informationen darüber, mit welchem Gewicht jeder Themenbereich zur Gesamtnote beiträgt. Hypothesen Im Folgenden soll überprüft werden, wie sich das Ausmaß des Einsatzes von Transparenzpapieren im Unterricht auf die Entwicklung der Einschätzungen von Schülerinnen und Schülern im Schuljahresverlauf auswirkt. (1) Zunächst wird angenommen, dass die Schüler den Einsatz von Transparenzpapieren als günstige Veränderungen der Lernumwelt deutlich wahrnehmen. D. h. mit zunehmendem Einsatz von Transparenzpapieren im Unterricht sollten Schüler vermehrt berichten, dass sie die Anforderungen und Vorbereitungsmöglichkeiten für eine Klassenarbeit kennen. (2) Des Weiteren sollten sich durch den Einsatz von Transparenzpapieren vor allem positive Veränderungen der Kompetenzüberzeugung im Hinblick auf den Umgang mit schulischen Aufgaben und Anforderungen sowie eine Reduktion der Prüfungsängstlichkeit ergeben. Es wird somit davon ausgegangen, dass mit zunehmendem Einsatz von Transparenzpapieren im Unterricht Schüler eine Steigerung ihrer schulischen Selbstwirksamkeit und eine Verringerung ihrer Prüfungsängstlichkeit berichten. Methode Implementationsstrategie Die Implementation fand in ausgewählten Klassen statt, bei denen die teilnehmenden Lehrerinnen und Lehrer als Vermittler der Intervention einen Großteil der Unterrichtszeit abdeckten. Zur Unterstützung und Erleichterung der Implementation arbeiteten Lehrerinnen und Lehrer in kleinen Teams, so genannten Projektgruppen (zwei bis fünf Kollegen pro Gruppe) bei der Umsetzung der Maßnahmen in den Unterricht zusammen. Einmal pro Schulhalbjahr wurden die Projektgruppen mit Hilfe eines Logbuchs schriftlich zu ihren Erfahrungen bei der Umsetzung der Workshopinhalte in den Unterricht befragt. Das Logbuch sollte einerseits im Sinne eines Portfolios den Projektgruppen als Dokumentation der erreichten Erfolge bei der Projektarbeit dienen. Andererseits stellen diese Dokumentationen der Umsetzung von Maßnahmen in den Unterricht wichtige Implementationsdaten dar, die bei der Evaluation der Programmwirkungen mit berücksichtigt werden sollten. Als weitere, weniger systematische Quelle zur Beurteilung des Ausmaßes der Implementation dienten von den Lehrern erstellte Unterrichtsmaterialien wie Transparenzpapiere (s. Beispiel in Anhang A). Diese wurden von den am Projekt beteiligten Lehrerinnen und Lehrern im Anschluss an den Workshop bzw. während des Schuljahres für ihren Unterricht erarbeitet und auf Nachfrage der wissenschaftlichen Begleitung zur Verfügung gestellt. Stichprobe Lehrerinnen und Lehrer aus vier Schulen mit insgesamt 14 Interventionsklassen nahmen zu Schuljahresbeginn am Workshop Motiviertes Lernen teil. Die Implementation erfolgte anschließend während des gesamten Schuljahres. Zur Evaluation der Programmwirkungen wurden die Schüler zu Schuljahresanfang und zum Ende des Schuljahres schriftlich befragt. Bei zwei Klassen lagen im Längsschnitt von weniger als zehn Schülern Daten vor. Diese beiden Klassen wurden aus den Analysen ausgeschlossen. In die Datenauswertung gehen somit zwölf Klassen aus vier Schulen mit insgesamt 180 Schülerinnen und 34 Bettina Röder, Matthias Jerusalem Schülern ein. In Tabelle 1 sind die Schulen anonymisiert, die Klassen und die Anzahl der Schüler pro Klasse, für die zu beiden Messzeitpunkten Daten vorlagen, aufgeführt (siehe Spalten 1 bis 3). Von den befragten Schülerinnen und Schülern waren 103 Mädchen (57.2 %) und 77 Jungen (42.8 %). Der Altersrange zum ersten Messzeitpunkt lag zwischen 11 und 15 Jahren (Median = 13 Jahre, SD = 10.5 Monate). Bei den Klassen handelte es sich ausschließlich um Klassen der Stufen 7 und 8 (sieben 7. Klassen und fünf 8. Klassen). Zehn Klassen waren Regelschulklassen, zwei Klassen waren Gymnasialklassen. Erfasste Variablen Implementationsgrad. Der Implementationsgrad bzw. das Ausmaß der Verwendung von Transparenzpapieren in einer Klasse wurde mit Hilfe der erstellten Logbücher der Projektgruppen der Lehrer erfasst. Jede Projektgruppe, die aus zwei bis fünf Kollegen einer Schule bestand, bearbeitete pro Schulhalbjahr ein Logbuch, sodass für das gesamte Schuljahr aus jeder Projektgruppe zwei Logbücher vorliegen. Die Angaben aus den Logbüchern beziehen sich jeweils auf genau eine der Untersuchungsklassen. In den Logbüchern wurde durch einen zu vervollständigenden Satz erfasst, was die Projektgruppen in einem Schulhalbjahr konkret in welchem Fach getan hatten („In den einzelnen Fächern wurde konkret versucht: …“). Die Projektgruppen gaben dazu u. a. an, in welchen Unterrichtsfächern und wie häufig sie Transparenzpapiere eingesetzt hatten. Außerdem hatten sie die Möglichkeit, die Transparenzpapiere, die sie für ihren Unterricht erstellt hatten, an die Evaluatoren zu senden. Von zwei unabhängigen Ratern wurde aus den Angaben in den Logbüchern herausgearbeitet, wie häufig Transparenzpapiere im gesamten Schuljahr in sämtlichen Fächern in den einzelnen Untersuchungsklassen verwendet wurden. Die Beurteilerübereinstimmungen in den einzelnen Fächern waren moderat bis perfekt und lagen zwischen κ = .57 und κ = 1.00 (in einem Unterrichtsfach bei κ = .57, in einem weiteren bei κ = .75 sowie in acht Fächern bei κ = 1.00). Anschließend wurde für das ganze Schuljahr aufsummiert, wie häufig Transparenzpapiere eingesetzt wurden und damit für jede Klasse ein Kennwert für die Gesamtzahl von Transparenzpapieren im Laufe des Schuljahres ermittelt. Diese Informationen liegen damit auf Klassenebene vor. Schülereinschätzungen. Zur Evaluation der Programmwirkungen wurden die Schülerinnen und Schüler der beteiligten Klassen vor dem Lehrerworkshop zu Schuljahresbeginn und nach der etwa neunmonatigen Implementationsphase zum Schuljahresende mittels Fragebogen schriftlich befragt. Die Befragung fand in einer regulären Unterrichtsstunde statt. Zu beiden Messzeitpunkten wurden die gleichen Variablen erfasst. Die Effekte des Einsatzes von Transparenzpapieren wurden für drei Skalen zu Schülereinschätzungen überprüft: Hinsichtlich der von den Schülern wahrgenommenen Transparenz der Klassenarbeit, der schulischen Selbstwirksamkeitserwartung und der Prüfungsängstlichkeit. Alle Items des Schülerfragebogens wurden von den Schülerinnen und Schülern auf einer 4-stufigen Likert-Skala von 1 („trifft nicht zu“) bis 4 („trifft genau zu“) beantwortet. Die Skala subjektive Transparenz der Klassenarbeit (Ditton, 2000) spiegelt das Geschehen im Unterricht wider und erfasst, inwieweit Schülern klar ist, was sie für eine Klassenarbeit wissen müssen und wie sie sich darauf vorbereiten können (3 Items, Beispielitem: „Vor einer Klassenarbeit wissen wir nie genau, was wir dafür eigentlich können müssen“; M t1 = 3.24, SD t1 = .61, M t2 = 3.27, SD t2 = .58). Die internen Konsistenzen liegen zum ersten Messzeitpunkt bei α = .68 und zum zweiten Messzeitpunkt bei α = .70. In Anbetracht der Kürze der Skala kann dies als zufriedenstellend betrachtet werden. Die Skala ist sehr verhaltensnah formuliert und dient als proximales Zielkriterium der wahrgenommenen Unterrichtsveränderungen durch die Schüler. Die Skala schulische Selbstwirksamkeitserwartung thematisiert die Kompetenzerwartungen von Schülern im Umgang mit schulischen Anforderungen. Zur Erfassung dieser schulbezogenen Kompetenzüberzeugungen wurde die Skala von Jerusalem und Satow (1999) verwendet (insgesamt 5 Items, Beispielitem: „Ich kann auch die schwierigen Aufgaben lösen, wenn ich mich anstrenge“; M t1 = 2.81, SD t1 = .51, M t2 = 2.70, SD t2 = .55). Cronbach’s α liegt zu beiden Messzeitpunkten bei α = .69. Zur Erfassung der Prüfungsängstlichkeit wurde mit der Teilskala „Besorgnis“ von Hodapp, Laux und Spielberger (1982) die kognitive Komponente der Prüfungsängstlichkeit erfasst (5 Items, Beispielitem: „Wenn ich in der Schule eine Arbeit/ einen Test schreiben muss, mache ich mir Sorgen, ob ich auch alles schaffe“; M t1 = 3.17, SD t1 = .67, M t2 = 3.15, SD t2 = .72). Die internen Konsistenzen der Skala sind gut und liegen bei α = .77 (erster Messzeitpunkt) und α = .83 (zweiter Messzeitpunkt). Wirkungen eines Programms zur Förderung von Selbstwirksamkeit 35 Datenauswertung Bei der Schülerstichprobe handelt es sich um einen geschachtelten Datensatz (Schachtelung von Schülern in Klassen). Bei der Auswertung der Daten wurde deshalb ein Zugang gewählt, der diesen hierarchischen Charakter berücksichtigt. Dies kann z.B. mit Hilfe von hierarchischen linearen Regressionsansätzen geschehen. Hier wurde für die Datenauswertung das Programm HLM 5 verwendet. Zudem handelt es sich bei dem vorliegenden Datensatz um einen Einjahreslängsschnitt. Die Messzeitpunkte können in HLM als eine weitere Ebene modelliert werden, sodass es sich es sich hier genauer um ein 3-Ebenen-Modell handelt: Messzeitpunkte (Level 1) sind in Schülern geschachtelt (Level 2) und diese wiederum in Klassen (Level 3). Außerdem liegt die unabhängige Variable (Anzahl der Transparenzpapiere im Schuljahr in einer Klasse), durch die die Veränderungen der Einschätzungen der Schülerinnen und Schüler vorhergesagt werden sollen, als Klassenvariable vor (auf Level 3), was ebenfalls für die Verwendung eines solchen hierarchischen Analyseansatzes spricht. Insgesamt gibt es wenig eindeutige Hinweise darauf, wie groß die Anzahl der Einheiten pro Ebene sein sollte, um eine hierarchische Datenanalyse durchführen zu können. Meist werden nur „Daumenregeln“ angegeben (z. B. Ditton, 1998, S. 123ff). Ein dabei häufig genanntes Kriterium ist die Forderung nach einer Mindestzahl von zehn Schülern pro Klasse, da nach Felson (1986, zit. nach Trautwein, Köller, Schmitz & Baumert, 2002) Klassenmittelwerte, die auf weniger als zehn Schülereinschätzungen beruhen, typischerweise mangelhafte Validität haben. Das Kriterium von mindestens zehn Schülern pro Klasse ist in der vorliegenden Untersuchung erfüllt. Ein empirischer Weg zur Überprüfung, ob die Anzahl der Schüler pro Klasse ausreichend ist, um zu zuverlässigen Schätzungen der Regressionskoeffizienten zu kommen, kann durch die in HLM durchgeführte Reliabilitätsschätzung der Regressionskoeffizienten erfolgen. Die Reliabilität gibt an, wie genau ein Parameter geschätzt werden kann. Generell sollte die Reliabilität eines Parameters größer .10 sein (Ditton, 1998, S.139). Eine hohe Reliabilitätsschätzung spricht für das Vorhandensein potenziell erklärbarer Varianz (Satow, 1999). Die Reliabilität klassenbezogener Parameter hängt von der Anzahl der Schüler pro Klasse ab, je größer diese ist, desto größer kann auch die Reliabilität sein. Um festzustellen, ob die Anzahl der befragten Schüler pro Klasse ausreichend ist, wurden für die drei abhängigen Variablen die Reliabilitäten der klassenbezogenen Regressionskoeffizienten überprüft. Die Reliabilitäten der hier geschätzten Regressionskoeffizienten der Steigung lagen in einem guten Bereich (subjektive Transparenz der Klassenarbeit: Rel = .55; schulische Selbstwirksamkeitserwartung: Rel. = .42, Prüfungsangst: Rel. = .62). Somit ist die Anzahl der Schüler pro Klasse, die in dieser Untersuchung einbezogen wurden, ausreichend für die Durchführung einer hierarchischen Datenanalyse. Ergebnisse Es werden zunächst die deskriptiven Statistiken der unabhängigen Variablen (Ausmaß der Implementation) berichtet und Angaben zu deren Validität gemacht. Anschließend wird entsprechend der beiden zu untersuchenden Hypothesen geprüft, ob durch die Anzahl der Transparenzpapiere in einer Klasse Veränderungen der Einschätzungen der Schülerinnen und Schüler vorhergesagt werden können. Häufigkeit der Verwendung von Transparenzpapieren Nach Angaben aus den Logbüchern wurden im Mittel 1.8 Transparenzpapiere im ersten Projektjahr in den zwölf Klassen eingesetzt (Median = 1.5, SD = 1.8). In vier Klassen wurde kein Transparenzpapier eingesetzt, in einer Klasse sogar fünf Transparenzpapiere. In Tabelle 1 (Spalte 4) ist die Anzahl verwendeter Transparenzpapiere in den einzelnen Klassen angegeben. Im Hinblick auf einen weiteren möglichen Implementationsindikator wurden die Projektgruppen gebeten, den Evaluatoren die erstellten Transparenzpapiere zur Verfügung zu stellen. Da die Transparenzpapiere jedoch z. T. in mehreren Klassen einer Schule verwendet wurden, konnten diese Materialien den einzelnen Untersuchungsklassen nicht eineindeutig zugeordnet werden. Die uns zugesendeten Transparenzpapiere, die ebenfalls einen Indikator der 36 Bettina Röder, Matthias Jerusalem Implementation darstellen, können deshalb nur schulweise zugeordnet werden. In Spalte 5 der Tabelle 1 ist angegeben, wie viele Transparenzpapiere uns aus den vier Schulen zugegangen sind. Für eine grobe Überprüfung der Validität der Logbuchangaben zur Häufigkeit der Verwendung von Transparenzpapieren kann ein Vergleich von Angaben aus den Logbüchern und zugesendeten Transparenzpapieren auf Schulebene gemacht werden. Werden die Angaben aus den Logbüchern schulweise addiert und mit der Anzahl der erhaltenen Transparenzpapiere pro Schule korreliert, ergibt sich ein Korrelationskoeffizient von r = .99 (p < .05). Somit stimmen die Angaben aus den Logbüchern auf Ebene der Schulen nahezu perfekt mit den Informationen zum Implementationsgrad auf Grundlage der verfügbaren Unterrichtsmaterialien überein. Dies kann als Hinweis auf die Validität der Logbuchangaben gewertet werden. Im Weiteren werden lediglich die Angaben aus den Logbüchern verwendet, da diese als Informationen auf Klassenebene und damit differenzierter vorliegen. Entwicklung der Schülereinschätzungen Bei der Darstellung der Ergebnisse der Schülereinschätzungen und der Vorhersage der Veränderungen durch die Verwendung von Transparenzpapieren in einer Klasse wird folgendes Vorgehen gewählt: Zunächst werden die Mittelwerte zum ersten Messzeitpunkt und die Veränderungen vom ersten zum zweiten Messzeitpunkt berichtet. In HLM werden diese Ergebnisse als Regressionsgerade beschrieben. Durch die Kodierung des ersten Messzeitpunktes auf den Wert Null und des zweiten Messzeitpunktes auf den Wert eins entspricht der Intercept der Regressionsgeraden dem Mittelwert zum Messzeitpunkt 1 und die Veränderung von Messzeitpunkt 1 zu Messzeitpunkt 2 entspricht der Steigung der Regressionsgeraden. Bei der Berechnung der Regression in HLM besteht unter anderem die Möglichkeit, den Steigungskoeffizienten als so genannten „random coefficient“ zu spezifizieren. Dadurch ergibt sich bei der Berechnung des Steigungskoeffizienten die Möglichkeit, die Fehlervarianz genauer zu bestimmen, indem ermittelt wird, wie sie sich auf Schule Klasse Anzahl der Schüler Anzahl der Transpazugesendete pro Klasse (mit Daten renzpapiere (Angaben Transparenzzu beiden Messzeitder Logbücher) papiere (erhaltenes punkten) Material) A 7 a 16 0 0 7 d 18 0 B 7 a 24 4 15 7 b 12 5 8 a 22 4 C 7 a 13 3 6 7 b 13 0 7 c 10 1 8 a 16 2 8 b 10 1 D * 8 a 13 0 2 8 b 13 2 * Schule D ist ein Gymnasium. Tabelle 1: Anzahl der befragten Schüler pro Klasse und Schule, Anzahl der Transparenzpapiere nach Angaben aus den Logbüchern und nach dem zugesendeten Material Wirkungen eines Programms zur Förderung von Selbstwirksamkeit 37 die verschiedenen Ebenen verteilt. Die Fehlervarianz wird somit in drei Komponenten zerlegt: in die Fehlervarianz auf Ebene der Messzeitpunkte ( σ e2 ), die Fehlervarianz auf Ebene der Personen, hier also der Schüler ( σ r12 ), und die Fehlervarianz auf Ebene der Aggregateinheiten, was im vorliegenden Fall den Klassen entspricht ( σ u102 ). Ist die Fehlervarianz auf Ebene der Schüler bzw. der Klassen signifikant, bedeutet das, dass die Veränderungen vom ersten zum zweiten Messzeitpunkt zwischen den Schülern einer Klasse bzw. zwischen den Klassen verschieden sind. Die genauen Regressionsgleichungen, die bei der hierarchischen linearen Regression in HLM spezifiziert werden, finden sich in Anhang B. Im nächsten Schritt wird geprüft, ob die Fehlervarianz auf Ebene der Klassen bedeutsam ist. Ist dies der Fall, heißt das, dass die Zugehörigkeit zu einer bestimmten Klasse über die Entwicklung eines Schülers (zu einem bestimmten Anteil) mit entscheidet. Dies ist anzunehmen, da Schüler einer Klasse die gleiche Lernumwelt teilen. Zeigen sich solche bedeutsamen Residualvarianzen auf Klassenebene, kann durch die Berechung einer bedingten Intraklassenkorrelation (ICC) angegeben werden, zu welchem Anteil die Entwicklung eines Schülers bereits durch die Zugehörigkeit zu einer Klasse erklärt wird. Man spricht von bedingter Intraklassenkorrelation, da bereits ein Prädiktor, nämlich der Messzeitpunkt, in die Regressionsgleichung aufgenommen wurde. Die bedingte ICC ergibt sich als Anteil der klassenspezifischen Residualvarianzen an der Gesamtresidualvarianz (ICC = σ u102 / ( σ e2 + σ r12 + σ u102 )). Ziel der weiteren Analysen ist es dann, diese klassenspezifische Residualvarianz durch das Einführen von Prädiktoren auf Klassenebene zu erklären, d. h. zu reduzieren. Gesucht wird also nach Variablen auf Klassenebene, die diese unterschiedliche Entwicklung der Schüler zwischen den Klassen erklären können. Als Variable auf Klassenebene (Level 3), die hier als potenzieller Prädiktor der Entwicklung der Schüler einer Klasse einbezogen wird, wird die Anzahl der Transparenzpapiere berücksichtigt, die in einer Klasse im Schuljahr eingesetzt wurden. Erweist sich dieser Prädiktor als signifikant, wird ermittelt, in welchem Ausmaß er zusätzliche Varianz auf Klassenebene aufklären kann 2 . Die inhaltliche Fragestellung ist hier, inwieweit durch die Anzahl der Transparenzpapiere, die im Schuljahresverlauf in einer Klasse angefertigt wurden, die Entwicklung der Schülereinschätzungen vorhergesagt werden kann. Die Regressionsgleichungen des Modells mit zusätzlichem Level-3-Prädiktor finden sich im Anhang C. Subjektive Transparenz der Klassenarbeit. Mit der Hypothese 1 wird angenommen, dass die zunehmende Verwendung von Transparenzpapieren im Unterricht dazu beiträgt, dass Schüler auch zunehmend die Anforderungen und Vorbereitungsmöglichkeiten von Klassenarbeiten kennen. Zu Schuljahresbeginn lag die Einschätzung der befragten Schülerinnen und Schüler hinsichtlich der subjektiven Transparenz der Klassenarbeit ( γ 000 ) bei einem Wert von 3.24. Der mittlere Veränderungswert ( γ 100 ) liegt bei .03 und ist nicht signifikant. D. h., im Mittel gibt es zum Schuljahresende keine Veränderung der subjektiven Transparenz von Klassenarbeiten. Ein solcher Wert kann zustande kommen, wenn alle Schüler kaum Veränderungen berichten oder wenn einige Schüler Zuwächse und andere Schüler Abnahmen berichten. Zu prüfen ist deshalb, ob der Veränderungswert eine bedeutsame Varianz hat und ob die Veränderungen zwischen den Klassen verschieden sind. Die Varianz der Veränderungswerte zwischen den Klassen ist signifikant ( σ u102 = 0.029, p < .01), die bedingte Intraklassenkorrelation liegt bei .08, d. h. 8 % der Varianz der Veränderungen der Schüler sind durch die Klassenzugehörigkeit erklärbar. Demgegenüber ist die Varianz der Veränderungswerte zwischen den Schülern einer Klasse nicht signifikant ( σ r12 = 0.001, n.s.), d. h. die Schüler einer Klasse weisen im Schuljahresverlauf ähnliche Entwicklungen auf. Im nächsten Schritt wurde in das Regressionsmodell die Anzahl der Transparenzpapiere als zusätzlicher Prädiktor auf Level 3 einbezogen. Es zeigte sich ein hoch signifikan- 38 Bettina Röder, Matthias Jerusalem tes Regressionsgewicht ( γ 101 = .10, p < .001), d. h., die Anzahl der Transparenzpapiere, die in einer Klasse angefertigt wurden, ist ein signifikanter Prädiktor der Entwicklung der Schüler einer Klasse im Hinblick auf ihre erlebte subjektive Transparenz von Klassenarbeiten. Durch den aufgenommenen Prädiktor (Anzahl der Transparenzpapiere) konnte die Residualvarianz auf Klassenebene ( σ u102 ) zu 99,5 % erklärt werden. Die Varianzaufklärung ergibt sich als Anteil der Residualvarianzreduktion auf Level 3 im Modell mit zusätzlichem Level-3-Prädiktor im Vergleich zu dem Modell, in das nur der Messzeitpunkt als Prädiktor aufgenommen wurde. In diesem Fall reduziert sich die Residualvarianz auf Klassenebene durch Hinzunahme des Prädiktors von σ u102 = .029 auf einen Wert nahe Null ( σ u102 = .0001). Das bedeutet, dass durch Aufnahme der Anzahl von Transparenzpapieren als zusätzlichem Prädiktor die Varianz der unterschiedlichen Entwicklungen zwischen den Klassen nahezu vollständig erklärt werden kann. Die Ergebnisse beider Modelle für die Variable subjektive Transparenz der Klassenarbeit sind in Tabelle 2 (Spalten 2 und 3) aufgeführt. Mit der zweiten Hypothese wird angenommen, dass mit zunehmendem Einsatz von Transparenzpapieren im Unterricht Schülerinnen und Schüler auch günstigere Entwicklungen ihrer schulbezogenen Kompetenzüberzeugung bzw. Selbstwirksamkeitserwartung und ihrer Prüfungsängstlichkeit berichten. Schulbezogene Selbstwirksamkeitserwartung. Für die schulbezogene Selbstwirksamkeitserwartung zu Beginn des Schuljahres ergab sich ein Mittelwert von γ 000 = 2.81. Im Verlauf des Schuljahres zeigte sich ein signifikanter Rückgang der schulbezogenen Selbstwirksamkeitserwartung ( γ 100 = -.11, p < .05). D. h. zu Schuljahresende schätzten die befragten Schülerinnen und Schüler ihre schulische Kompetenzüberzeugung als geringer ein als zum Anfang des Schuljahres. Auch im Hinblick auf die Entwicklung der schulischen Selbstwirksamkeitserwartung zeigen sich bedeutsame Unterschiede zwischen den Klassen ( σ u102 = 0.014, p < .05). subjektive Transparenz schulbezogene Prüfungsder Klassenarbeit Selbstwirksamkeitserwartung ängstlichkeit Modell mit Modell mit Modell mit Modell mit Modell mit Modell mit Messzeitpunkt zusätzlichem Messzeitpunkt zusätzlichem Messzeitpunkt zusätzlichem als Prädiktor Level-3-Prädiktor als Prädiktor Level-3-Prädiktor als Prädiktor Level-3-Prädiktor Mittelwert T1 ( γ 000 ) 3.24 3.24 2.81 2.81 3.17 3.17 Veränderungswert T2 - T1 ( γ 100 ) .03 -.16* -.11* -.18* -.02 -.17 Regressionsgewicht Anzahl der Transparenzpapiere ( γ 101 ) .10*** .04* .08 Level 1 Residualvarianz ( σ e2 ) 0.338 0.338 0.260 0.260 0.446 0.446 Level 2 Residualvarianz ( σ r12 ) 0.001 0.001 0.019 0.019 0.026 0.026 Level 3 Residualvarianz ( σ u102 ) 0.029** 0.000 0.014* 0.010* 0.053** 0.033** Gesamtvarianz 0.368 0.339 0.293 0.289 0.524 0.505 bedingte ICC .08 .05 .10 Tabelle 2: Ergebnisse der hierarchischen linearen Regressionen Anmerkungen: Level-3-Prädiktor = Anzahl der Transparenzpapiere, * p < .05, ** p < .01, *** p < .001 Wirkungen eines Programms zur Förderung von Selbstwirksamkeit 39 Die bedingte Intraklassenkorrelation liegt bei .05, d. h. 5 % der Varianz der Veränderungen der schulischen Selbstwirksamkeitserwartung können durch die Zugehörigkeit zu einer bestimmten Klasse erklärt werden. Wird auf Klassenebene die Anzahl der Transparenzpapiere im Schuljahr als Prädiktor aufgenommen, ergibt sich ein zwar geringes, aber signifikantes Regressionsgewicht ( γ 101 = .04, p < .05), durch das die Residualvarianz auf Klassenebene zu 38 % erklärt werden kann (Residualvarianzreduktion von σ u102 = .014 auf σ u102 = .010). Anders als bei der Schülereinschätzung zur subjektiven Transparenz der Klassenarbeit bleibt somit auch nach Einführung des Prädiktors „Anzahl der Transparenzpapiere“ ein signifikanter Fehlervarianzanteil auf Klassenebene bestehen ( σ u102 = .010, p < .05). Die Varianz der Veränderungswerte zwischen den Schülern einer Klasse ist auch hier nicht signifikant ( σ r12 = 0.019, n.s.). Die Ergebnisse für die schulische Selbstwirksamkeitserwartung sind in Tabelle 2 (Spalten 4 und 5) zusammengefasst. Prüfungsängstlichkeit-Besorgnis. Für die zu Beginn des Schuljahres erfasste Prüfungsängstlichkeit ergab sich ein Mittelwert von γ 000 = 3.17. Im Verlauf des Schuljahres zeigt sich im Mittel keine Veränderung der Prüfungsängstlichkeit ( γ 100 = -.02, n.s.). Auch hier werden wieder unterschiedliche Entwicklungen zwischen den Klassen deutlich ( σ u102 = 0.053, p < .01). Die bedingte Intraklassenkorrelation liegt bei .10, d. h. 10 % der Varianz der Veränderungen der Prüfungsängstlichkeit sind durch die Zugehörigkeit zu einer bestimmten Klasse erklärbar. Die Anzahl der Transparenzpapiere als Prädiktor auf Klassenebene zur Erklärung dieser unterschiedlichen Entwicklungen zwischen den Klassen erweist sich jedoch als nicht bedeutsam ( γ 101 = .08, p = .11). Die Residualvarianz zwischen den Schülern einer Klasse ist auch hier nicht signifikant ( σ r12 = 0.026, n.s.), was darauf hinweist, dass die Schüler einer Klasse ähnliche Veränderungen berichten. Die Ergebnisse sind in Tabelle 2 (Spalten 6 und 7) aufgeführt. Zusammenfassend kann somit festgehalten werden, dass das Ausmaß des Einsatzes von Transparenzpapieren für die Entwicklung der Schülereinschätzungen der subjektiven Transparenz von Klassenarbeiten und der schulbezogenen Selbstwirksamkeitserwartung bedeutsam ist. Für die Prüfungsängstlichkeit konnte solch ein Effekt jedoch nicht nachgewiesen werden. Diskussion Der vorliegende Beitrag hatte zum Ziel, erste Effekte eines Programms zur Förderung von Selbstwirksamkeit und Selbstbestimmung bei Schülern zu überprüfen. Ein Schwerpunkt des Programms liegt in der Selbstwirksamkeitsförderung durch Motivierung von Schülern. Im Rahmen dieses Beitrags ging es speziell um die Überprüfung der Frage, ob das Ausmaß des Einsatzes von Transparenzpapieren einen Mediator von möglichen Programmeffekten bei Schülern darstellt. Das Ausmaß der Verwendung von Transparenzpapieren wurde durch offene, schriftliche Befragungen der Lehrer mit so genannten Logbüchern erfasst und im Rahmen der Evaluation berücksichtigt (McGraw et al., 2000). Erste Hinweise zur Validität der Angaben aus den Logbüchern lieferten die sehr hohen Zusammenhänge zur Häufigkeit der Verwendung von Transparenzpapieren mit der Anzahl von verfügbaren Unterrichtsmaterialien aus den Schulen. Bei der Überprüfung von Programmeffekten durch den Einsatz von Transparenzpapieren zeigten sich die erwarteten Ergebnisse für die Unterrichtswahrnehmungen. Mit zunehmendem Einsatz von Transparenzpapieren im Unterricht gaben Schüler an, dass ihnen die Anforderungen und Vorbereitungsmöglichkeiten für Klassenarbeiten transparenter waren. Damit konnte die Hypothese 1 bestätigt werden. Ebenso berichteten die Schüler mit zunehmendem Einsatz von Transparenzpapieren günstigere Entwicklungen ihrer schulischen Selbstwirksamkeitserwartung. Für die Prüfungsängstlichkeit wurde kein bedeutsamer Effekt des Ausmaßes der Verwendung von Transparenzpapieren gefunden. Die zweite Hypothese konnte damit nur zum Teil bestätigt werden. 40 Bettina Röder, Matthias Jerusalem Hinsichtlich der mittleren Veränderung im Schuljahresverlauf ergab sich für die schulbezogene Kompetenzüberzeugung insgesamt eine leichte Abnahme. Dieser generelle Abfall ist jedoch nicht überraschend, auch wenn im Rahmen des Programms Selbstwirksamkeit gerade gefördert werden sollte. Dieses Ergebnis reflektiert zum einen eine typische Entwicklung in diesem Altersbereich, die durch ein generelles Absinken der Selbstwirksamkeit gekennzeichnet ist (Schunk & Pajares, 2005). Darüber hinaus könnte der abnehmende Trend auch durch die Erhebungszeitpunkte begünstigt worden sein. Zum ersten Erhebungszeitpunkt direkt nach den Sommerferien wurden vielleicht eher optimistische Einschätzungen (ggf. überhöhte Bewertungen) schulischer Selbstwirksamkeit vorgenommen, während am Schuljahresende angesichts der zurückliegenden Erfahrungen, Anforderungen und Belastungen sowie der bevorstehenden Notengebung die Zuversicht weniger optimistisch ausgefallen ist. Festhalten lässt sich aber, dass bei Verwendung von Transparenzpapieren im Unterricht der abnehmende Trend der Selbstwirksamkeit deutlich geringer ausfällt bzw. abgeschwächt wird. Vermutlich ist die Wahrnehmung von Veränderungen in der Lernumwelt - hier der subjektiven Transparenz von Klassenarbeiten - eine wichtige Voraussetzung dafür, dass sich bei wenig verhaltensnahen Zielkriterien wie der schulbezogenen Selbstwirksamkeit günstige Veränderungen einstellen können. Dieses Ergebnis ist vor allem in Anbetracht der insgesamt noch relativ geringen Umsetzungshäufigkeit von Transparenzpapieren als sehr positiv zu bewerten. Die angesichts relativ weniger Transparenzpapiere erzielten Selbstwirksamkeitseffekte weisen auf die besondere Bedeutung solcher Maßnahmen für die Schüler hin. Wer über Anforderungen, Vorbereitungsmöglichkeiten und Bewertungskriterien gut informiert ist, hat bessere Chancen, für ein erfolgreiches Abschneiden zu arbeiten, als derjenige, der schlecht informiert ist. Transparenzpapiere werden vor wichtigen Klassenarbeiten ausgegeben, deren Bewältigung oder Nichtbewältigung für Schüler bedeutsame und weit reichende Konsequenzen haben können. Somit kann die mit Erfolgs- und Misserfolgswahrscheinlichkeit einhergehende Tragweite von Transparenzpapieren für Schüler relativ groß sein, auch wenn sie insgesamt nur wenige Male, dafür aber bei besonders wichtigen Ereignissen, günstige Erfahrungen damit machen konnten. Das insgesamt relativ geringe Ausmaß der Verwendung von Transparenzpapieren kann verschiedene Gründe haben. Ein Grund könnte sein, dass die teilnehmenden Lehrerinnen und Lehrer beispielsweise nicht dazu verpflichtet waren, die Maßnahmen im Unterricht umzusetzen. Wie die Ergebnisse zeigen, führte das dazu, dass in einigen Klassen überhaupt keine Transparenzpapiere eingesetzt wurden, während sie in anderen Klassen mehrfach zum Einsatz kamen. Ein anderer Grund könnte sein, dass eine neue und ungewohnte Unterrichtsmethode bei Lehrerinnen und Lehrern zunächst auf Skepsis stößt und sie sich anfangs vorsichtig, experimentell und bei wenigen, ausgewählten Anlässen damit in den Unterricht wagen. Hier wäre in Zukunft zu erwarten, dass bei zunehmend positiven Erfahrungen auch die Verwendung von Transparenzpapieren steigt. Möglicherweise konnten durch die relativ geringe Verwendung von Transparenzpapieren auch noch keine günstigen Veränderungen der Prüfungsängstlichkeit erreicht werden. Bei der Operationalisierung der Prüfungsängstlichkeit wurde nur die kognitive Komponente der Prüfungsangst, die Subskala „Besorgnis“ erfasst. Die emotionale Komponente der Prüfungsangst, die so genannte „Aufgeregtheit“ wurde nicht mit erhoben, da diese Teilkomponente deutlich geringere Bezüge zu schulischer Leistung aufweist (z. B. Schwarzer, 2000) und damit für die vorliegende Fragestellung weniger bedeutsam ist. Prüfungsängstlichkeit ist zwar ebenso wie die schulische Selbstwirksamkeit eine eher dispositionale Variable, aber im Vergleich zur Selbstwirksamkeit stärker an konkrete und wichtige Leistungssituationen (Klassenarbeiten, Prüfungen) gekoppelt. Es könnte sein, dass die erlebte Prüfungsängstlichkeit durch den Bezug auf konkrete Fächer oder Klassenar- Wirkungen eines Programms zur Förderung von Selbstwirksamkeit 41 beiten beeinflusst wird, auch wenn in anderen Fächern weniger oder keine Ängstlichkeit vorliegt. Ebenfalls möglich ist, dass sich der subjektive Bezug bei der Angabe von Prüfungsängstlichkeit teils auf Fächer bezieht, in denen keine Transparenzpapiere vorgegeben wurden, und teils auf solche, bei denen dies sehr wohl der Fall war. Die Unterschiede in der jeweiligen fachspezifischen Referenz zur Einschätzung von Prüfungsängstlichkeit erweisen sich in solchen Fällen möglicherweise als Verzerrungseffekte, die die Güte und Interpretationsmöglichkeit der Angaben beeinträchtigen könnten. Somit wäre in weiteren Studien zur eindeutigeren Interpretation der Effekte eine fachspezifische Erfassung der Prüfungsängstlichkeit wünschenswert. Dann könnte überprüft werden, ob es zu unterschiedlichen Veränderungen der Prüfungsängstlichkeit in den einzelnen Fächern in Abhängigkeit der Verwendung von Transparenzpapieren kommt. Dieser konkrete Fachbzw. Prüfungsbezug erfolgt bei der Selbstwirksamkeit nicht bzw. in geringerem Maße, da sie sich nicht nur auf den kompetenten Umgang mit Klassenarbeiten und Tests bezieht, sondern die effektive Bewältigung verschiedenster schulischer Anforderungen umfasst. Sie ist somit weniger stark an konkrete bzw. fachspezifische Leistungssituationen gebunden, sodass solche Verzerrungen in diesem Fall zwar auch möglich, aber weniger wahrscheinlich sind. Allerdings könnte auch der vergleichsweise kurze Interventionszeitraum von nur einem Schuljahr (etwa neun Monate) ein Grund sein, weshalb für die Prüfungsängstlichkeit noch keine günstigen Effekte sichtbar wurden. Inwieweit die bereits aufgezeigten Effekte für die schulische Selbstwirksamkeit zu Erwartungen berechtigen, dass sich mit fortschreitender Implementation auch für die Prüfungsängstlichkeit günstige Entwicklungen zeigen, wäre im weiteren zeitlichen Verlauf zu überprüfen. Insgesamt lässt sich aufgrund der vorliegenden Ergebnisse auf Seiten der Schüler erwarten, dass mit noch günstigeren Effekten zu rechnen ist, wenn es gelingt, die Verwendung von Transparenzpapieren im Unterricht weiter zu steigern. Dies wäre beispielsweise möglich, wenn Transparenzpapiere als regulärer Bestandteil der Vorbereitung auf Klassenarbeiten und Tests im Unterricht etabliert werden. Wichtig wäre überdies, diese Maßnahme möglichst konsequent in sämtlichen Fächern umzusetzen, um positive Veränderungen zu erzielen. Für den Nachweis von Zusammenhängen zwischen dem Ausmaß der Implementation und Veränderungen bei Schülern ist besonders wichtig, inwieweit es gelingt, aussagekräftige Informationen zur Umsetzung der Maßnahmen in den Unterricht zu erhalten. Die verwendeten Logbücher scheinen bereits gute Indikatoren der Umsetzung in den Unterricht zu sein. Aber auch hier wäre es wünschenswert, die Validität der Logbücher noch umfassender zu prüfen. Die Zusammenhänge der Logbuchangaben mit der Anzahl von verfügbaren Transparenzpapieren als erstelltem Unterrichtsmaterial sind bereits viel versprechend, auch wenn Letztere lediglich auf Ebene der Schulen ermittelt werden konnten. Im Hinblick auf die Validierung solcher Logbuchangaben wären zusätzliche Informationen zur Umsetzung der Maßnahmen in den Unterricht hilfreich. Besonders informativ wären etwa Instrumente, die die Implementation „on time“, also zeitlich möglichst nah an der tatsächlichen Umsetzung der Maßnahmen in den Unterricht erfassen (Resnicow et al., 1998). Damit könnten beispielsweise Fehlerquellen reduziert werden, die sich daraus ergeben, dass Angaben rückblickend über einen längeren Zeitraum (hier ein Schulhalbjahr) gemacht werden sollen. Zur Erfassung der Implementation wurde zu einem späteren Zeitpunkt des Projektverlaufs ein solches Instrument eingesetzt. Allerdings liegen dazu noch keine Daten vor. Die teilnehmenden Lehrerinnen und Lehrer wurden gebeten, bei der Verwendung von Transparenzpapieren kontinuierlich eine so genannte Checkliste zu führen, d. h., die Häufigkeit der Umsetzung in Form einer Strichliste festzuhalten. Ein ähnliches Instrument zur Erfassung des Ausmaßes der Implementation wurde auch bei Gräsel et al. (2005) verwendet. Hier trat jedoch das Problem auf, dass die be- 42 Bettina Röder, Matthias Jerusalem teiligten Lehrerinnen und Lehrer nur in geringem Ausmaß bereit waren, ihren Unterricht in der dort vorgeschlagenen Form auf einem Dokumentationsbogen schriftlich festzuhalten. Es bleibt abzuwarten, inwieweit eine Checkliste zur Dokumentation der Implementation von den beteiligten Lehrkräften akzeptiert wird und ob dadurch im Hinblick auf die Vorhersage von Entwicklungen der Schülerinnen und Schüler validere Indikatoren der Implementation gewonnen werden können. Neben Informationen zur Quantität der Implementation könnten aber auch Qualitätsindikatoren einen weiteren Beitrag zur Erklärung von Programmeffekten leisten. Die Qualität der Implementation betrifft die Güte bzw. Genauigkeit, mit der bestimmte Maßnahmen entsprechend ihrer Vorgaben umgesetzt werden (vgl. Dusenbury et al., 2003). In einer Untersuchung von Resnicow et al. (1998) waren Qualitätsindikatoren zur Umsetzung von Strategien zur Gesundheitsförderung in der Schule, die über Beobachtungen im Unterricht erfasst wurden, den Kennwerten der Implementationsquantität, die über Selbstberichte der Lehrer ermittelt wurden, im Hinblick auf ihre Validität (Korrelationen mit dem Wissen der Schüler zum Programmende) überlegen. In der vorliegenden Untersuchung können aus dem erstellten Unterrichtsmaterial, das der wissenschaftlichen Begleitung zur Verfügung gestellt wurde, teilweise auch Indikatoren zur Genauigkeit der Umsetzung ermittelt werden. Da die Zuordnung des Unterrichtsmaterials jedoch nur auf Ebene der Schulen, nicht aber auf Ebene der Klassen gelungen ist, sind diese Indikatoren leider nicht geeignet, eine Vorhersage von Veränderungen der Schüler in Abhängigkeit des klassenspezifischen Ausmaßes der Implementation zu leisten. Informationen zur Qualität der Implementation wären wichtig, um genauer zu überprüfen, ob die Ergebnisse nicht auf Drittvariablen rückführbar sind, die mit den Transparenzpapieren nichts zu tun haben. Denn einschränkend zur Gültigkeit der Befunde könnte es beispielsweise sein, dass besonders die engagierten Lehrkräfte Transparenzpapiere im Unterricht eingesetzt haben, weshalb die Effekte auf Variablen zurückgeführt werden könnten, die mit dem Engagement der Lehrer zusammenhängen. Wäre dies der Fall, müsste es aber schon zum ersten Messzeitpunkt, also vor dem Lehrerworkshop, bedeutsame Unterschiede zwischen den Klassen gegeben haben. Denn die beteiligten Lehrerinnen und Lehrer haben die teilnehmenden Schülerinnen und Schüler auch bereits im Schuljahr vor Beginn der Interventionsmaßnahmen unterrichtet, sodass engagiertere Lehrkräfte bereits entsprechend positivere Einflüsse ausgeübt haben sollten als weniger engagierte Lehrkräfte. Um solche möglichen Effekte zu explorieren, wurde überprüft, ob es bereits zum ersten Messzeitpunkt signifikante Unterschiede hinsichtlich der betrachteten Variablen zwischen den Klassen gab. Dies war für die Variable Prüfungsängstlichkeit in geringem Maße der Fall, nicht jedoch für die subjektive Transparenz von Klassenarbeiten und die schulische Selbstwirksamkeitserwartung. Hinsichtlich der Variablen, für die Effekte der Intervention in den Klassen nachweisbar waren, lassen sich also keine Unterschiede zum Zeitpunkt vor der Intervention finden. Dieser Befund unterstützt die Interpretation der Ergebnisse im Sinne der Wirksamkeit des Programms. Nicht ausgeschlossen werden kann, dass die Ergebnisse durch andere Drittvariablen beeinflusst werden, die in der vorliegenden Studie nicht erhoben wurden, und damit nicht empirisch geprüft werden können. Wie bereits angedeutet, war eine klassenspezifische Prüfung der Qualität der Implementation in dieser Untersuchung nicht möglich. Allerdings ist zumindest eine indirekte Qualitätskontrolle der verwendeten Transparenzpapiere möglich. Die beteiligten Schülerinnen und Schüler wurden mit der Skala „subjektive Transparenz der Klassenarbeit“ explizit danach gefragt, inwieweit ihnen klar ist, wie sie sich auf eine Klassenarbeit vorbereiten können und was sie für eine Arbeit können müssen. Nur dann, wenn die von den Lehrern erstellten Transparenzpapiere diese Informationen tat- Wirkungen eines Programms zur Förderung von Selbstwirksamkeit 43 sächlich beinhalten und wahrgenommen werden, können sich auf dieser Skala auch positive Veränderungen zeigen. In den Ergebnissen wurde deutlich, dass in Abhängigkeit des Ausmaßes der Verwendung von Transparenzpapieren diese subjektiven Einschätzungen der Schüler zunehmen. Je mehr Transparenzpapiere erstellt wurden, umso mehr berichten Schüler davon, dass sie die Anforderungen und Vorbereitungsmöglichkeiten für Klassenarbeiten kennen. Diese wenn auch indirekte Qualitätskontrolle ist insbesondere deshalb bedeutsam, weil sie die subjektiven Einschätzungen der Schüler widerspiegelt, also das, was bei den Schülern durch die Intervention bewusst angekommen ist. Überdies wissen wir aufgrund mündlicher Erfahrungsberichte der am Projekt beteiligten Lehrerinnen und Lehrer, dass die Transparenzpapiere von Schülern im Sinne ihrer Funktion als nützlich und hilfreich erlebt werden. Somit kann insgesamt davon ausgegangen werden, dass die von den Lehrern erstellten und verwendeten Transparenzpapiere die zentralen Transparenzinformationen umfassten, um die erwünschten Effekte auf Seiten der Schüler bewirken zu können. Insgesamt wird in dieser Untersuchung deutlich, wie wichtig die Erfassung von Informationen zur tatsächlichen Umsetzung von Maßnahmen in den Unterricht für die Beurteilung der Wirksamkeit von schulischen Interventionsprogrammen ist. Insbesondere bei der hier zugrunde liegenden Implementationsstrategie, die den Teilnehmerinnen und Teilnehmern der Fortbildung Raum für eigene Adaptation lässt (Gräsel & Parchmann, 2004), sind im Rahmen der Evaluation Informationen zur Implementation unverzichtbar. Der hier erfasste Indikator des Implementationsgrades (Anzahl der Transparenzpapiere) zeigt, dass mit höherem Umsetzungsgrad günstigere Effekte erreicht werden können. In weiteren Studien wäre es zur besseren Einschätzung von Implementationswirkungen vor allem wichtig, sowohl quantitative als auch qualitative Indikatoren der Implementation von Maßnahmen noch differenzierter zu erfassen. Anmerkungen 1 Das Projekt „Förderung von Selbstwirksamkeit und Selbstbestimmung im Unterricht“ wird im Rahmen des Programms „Lebenswelt. Jugend leistet sich Gesellschaft“ von der Deutschen Kinder- und Jugendstiftung und der Jacobs Foundation unterstützt. 2 Die Varianzen der Residuen auf Level 1 und Level 2 bleiben erhalten, denn ein Prädiktor auf einem höheren Level (hier Level 3) kann nicht auf einem niedrigeren Level Varianz aufklären (Hox, 2002, S. 65). Literatur Aßhauer, M. & Hanewinkel, R. (2000). Lebenskompetenztraining für Erst- und Zweitkläßler: Ergebnisse einer Interventionsstudie. Kindheit und Entwicklung, 9, 251 - 263. Baldwin, T. T. & Ford, J. K. (1988). Transfer of Training: A Review and Directions for Future Research. Personnel Psychology, 41, 63 - 105. Bandura, A. (1997). Self-efficacy: The exercise of control. New York: Freemann. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37 - 46. Colquitt, J. A., LePine, J. A. & Noe, R. A. (2000). Toward an Integrative Theory of Training Motivation: A Meta-Analytic Path Analysis of 20 Years of Research. Journal of Applied Psychology, 85, 678 - 707. Dane, A. V. & Schneider, B. H. (1998). Program integrity in primary an dearly secondary prevention: are implementation effects out of control? Clinical Psychology Review, 18, 23 - 45. Ditton, H. (1998). Mehrebenenanalyse. Weinheim: Juventa. Ditton, H. (2000). DFG-Projekt „Qualität von Schule und Unterricht“. Verfügbar unter: http: / / quassu.net/ SKA LEN_1.pdf [21. 7. 2006]. Dusenbury, L., Brannigan, R., Falco, M. & Hansen, W. B. (2003). A review of research on fidelity of implementation: Implications for drug abuse prevention in school settings. Health Education Research, 18, 237 - 256. Felson, R. B. & Reed, M. D. (1986). Reference groups and self-appraisals of academic ability and performance. Social Psychology Quarterly, 49, 103 - 109. Gräsel, C. & Parchmann, I. (2004). Implementationsforschung - oder: der steinige Weg, Unterricht zu verändern. Unterrichtswissenschaft, 32, 196 - 214. Gräsel, C., Parchmann, I., Puhl, T., Baer, A., Fey, A. & Demuth, R. (2005). Lehrerfortbildungen und ihre Wirkungen auf die Zusammenarbeit von Lehrkräften und die Unterrichtsqualität. In J. Doll & M. Prenzel (Hrsg.), Bildungsqualität von Schule (S. 133 - 151). Münster: Waxmann. Hodapp, V., Laux, L. & Spielberger, C. D. (1982). Theorie und Messung der emotionalen und kognitiven Komponente der Prüfungsangst. Zeitschrift für Differentielle und Diagnostische Psychologie, 3, 169 - 184. Hox, J. (2002). Multilevel analysis. Mahwah, NJ: Erlbaum. Jerusalem, M., Klein-Heßling, J. & Mittag, W. (2003). Gesundheitsförderung und Prävention im Kindes- und Jugendalter. Zeitschrift für Gesundheitswissenschaften, 11, 247 - 262. Jerusalem, M. & Satow, L. (1999). Schulbezogene Selbstwirksamkeit. In R. Schwarzer & M. Jerusalem (Hrsg.), 44 Bettina Röder, Matthias Jerusalem Skalen zur Erfassung von Lehrer- und Schülermerkmalen (S. 18 - 19). Berlin: Institut für Psychologie, Freie Universität Berlin. Kobusch, A. B. & Quentin, G. (1998). Evaluation settingbasierter Ansätze in der Gesundheitsförderung - Ergebnisse und Entwicklungsperspektiven eines Schulprojekts. Empirische Pädagogik, 12, 365 - 380. McGraw, S. A., Sellers, D., Stone, E., Resnicow, K. A., Kuester, S., Fridinger, F. & Wechsler, H. (2000). Measuring Implementation of School Programs and Policies to Promote Healthy Eating and Physical Activity among Youth. Preventive Medicine, 31, 86 - 97. McGrew, J. H., Bond, G. R., Dietzen, L. & Salyers, M. (1994). Measuring the fidelity of implementation of a mental health program model. Journal of Consulting and Clinical Psychology, 62, 670 - 678. Mittag, W. & Jerusalem, M. (1998). Gesundheitsförderung in der Schule: Evaluation eines Interventionsprogrammes zur Alkoholprävention. In M. Beck (Hrsg.), Evaluation als Maßnahme der Qualitätssicherung (S. 121 - 144). Tübingen: dgvt-Verlag. Mittag, W. & Jerusalem, M. (1999). Determinanten des Rauchverhaltens bei Jugendlichen und Transfereffekte eines schulischen Gesundheitsprogrammes. Zeitschrift für Gesundheitspsychologie, 7, 183 - 202. Noe, R. A. (1986). Trainees’ Atributes and Attitudes: Neglected Influences on Training Effectiveness. Academy of Management Review, 11, 736 - 749. Pintrich, P. R. & Schunk, D. H. (2002). Motivation in education (2nd edition). New Jersey: Prentice-Hall. Resnicow, K., Cohn, L., Reinhardt, J., Cross, D., Futterman, R., Kirschner, E., Wydner, E. L. & Allegrante, J. P. (1992). A three-year evaluation of the know your body programm in inner-city schoolchildren. Health Education Quarterly, 19, 463 - 480. Resnicow, K., Davis, M., Smith, M., Lazarus-Yaroch, A., Baranowski, T., Baranowski, J., Doyle, C. & Wang, D. W. (1998). How to best measure implementation of school health curricula: a comparison of three measures. Health Education Research, 13, 239 - 250. Rheinberg, F. & Krug, S. (2005). Motivationsförderung im Schulalltag (3., korrigierte Auflage). Göttingen: Hogrefe. Satow, L. (1999). Klassenklima und Selbstwirksamkeitsentwicklung. Dissertation, Freie Universität Berlin, Berlin. Scheirer, M. A., Shediac, M. C. & Cassady, C. E. (1995). Measuring the implementation of health promotion programs: the case of the Breast and Cervical Cancer Program in Maryland. Health Education Research, 10, 11 - 25. Schunk, D. H. (1991). Self-efficacy and academic motivation. Educational Psychologist, 26, 207 - 231. Schunk, D. H. & Pajares, F. (2005). Competence perceptions and academic functioning. In A. J. Elliot & C. S. Dweck (Hrsg.), The handbook of competence and motivation (S. 85 - 104). New York: Guilford Press. Schwarzer, R. (2000). Stress, Angst und Handlungsregulation (4. Auflage). Stuttgart: Kohlhammer. Snyder, J., Bolin, F. & Zuwalt, K. (1992). Curriculum implementation. In P. W. Jackson (Hrsg.), Handbook of research on curriculum (S. 402 - 435). New York: Macmillan. Strittmatter, P. (1997). Schulangstreduktion. Abbau von Angst in schulischen Leistungssituationen. Luchterhand: Neuwied. Trautwein, U., Köller, O., Schmitz, B. & Baumert, J. (2002). Do homework assignments enhance achievement? A multilevel analysis in 7th-grade mathematics. Contemporary Educational Psychology, 27, 26 - 50. Ziegler, A. & Schober, B. (1998). Motivationsförderung mit Hilfe eines Reattributionstrainings. Psychologie in Erziehung und Unterricht, 44, 216 - 229. Zimmerman, B., J. (2000). Self-efficacy: An essential motive to learn. Contemporary Educational Psychology, 25, 82 - 91. Bettina Röder Humboldt-Universität zu Berlin Lehrstuhl für Pädagogische Psychologie und Gesundheitspsychologie Geschwister-Scholl-Str. 7 D-10117 Berlin Tel.: +49 30 2093 4013 Fax: +49 30 2093 4010 E-Mail: bettina.roeder@rz.hu-berlin.de Prof. Dr. Matthias Jerusalem Humboldt-Universität zu Berlin Lehrstuhl für Pädagogische Psychologie und Gesundheitspsychologie Geschwister-Scholl-Str. 7 D-10117 Berlin Tel.: +49 30 2093 4080 Fax: +49 30 2093 4010 E-Mail: jerusalem@rz.hu-berlin.de Wirkungen eines Programms zur Förderung von Selbstwirksamkeit 45 Anhang Anhang A: Beispiel für ein Transparenzpapier zu einer Klassenarbeit in Englisch Transparenzpapier zur 3. Klassenarbeit topics: California, gerund, comparison of adjectives, feelings, making a film Das musst du können So kannst du üben Punkte Reading a text about California Lektüre der Übungstexte 10 p • den wesentlichen Inhalt verstehen • Richtig/ Falschaussagen herausfinden • Fragen zum Text beantworten • ähnliche Formulierungen im Text finden Steigerung von Adjektiven Heftermitschrift • fast - faster - the fastest • Üben: LB S. 40/ 1; 6 p • interesting - more interesting - WB S. 22/ 4 the most interesting • good - better - the best Typical Californian? • Texte im LB S. 38/ 39 10 p über typische Besonderheiten Bescheid wissen • Heftermitschrift und erklären • Vokabeln der Unit 3 lernen ex: Universal Studios - famous film studios (auch Worterklärungen in der in Hollywood rechten Spalte! ) Gerund LB S. 107/ 108 6 p Sätze im Gerund bilden können Üben: S. 40/ 1; S. 42/ 3 WB S. 24/ 7, 8; WB S. 28/ 15 feelings LB S. 45/ 1,2 5 p • verschiedene Gefühle in Situationen beschreiben WB S. 26/ 11 text writing (75 words) Wahlthema • Informationen über Kalifornien, 12 p • einen informellen Brief schreiben Städte, Sehenswertes, Einwohner • einen Aufsatz schreiben sammeln (LB S. 38), Hefter • Wiederholung: Briefschreiben (Anfang/ Ende) • Aufbau eines Aufsatzes • WB S. 26/ 12 1 2 3 4 5 6 Ø 50 47,5 40,5 32,5 25,5 12,5 - - - - - - 48 41 33 26 13 0 Für die Bearbeitung der Aufgaben hast du 45 Minuten Zeit. Diese Klassenarbeit geht mit 20 % in deine Note für das 2. Halbjahr ein. Beachte die Punkteverteilung und setze dir Schwerpunkte. Es gibt erstmalig einen Formpunkt! Ich wünsche dir viel Erfolg und helfe gern, wenn du Fragen zu den Themen der Arbeit hast. In wenigen Tagen wirst du dich auf die nächste anstehende Klassenarbeit in Englisch vorbereiten wollen. Dieses Transparenzpapier soll dir bei deinen Vorbereitungen helfen. Arbeite kontinuierlich und plane deine Vorbereitungen langfristig. Viel Erfolg dabei! Kenntnisnahme der Eltern (Unterschrift): 46 Bettina Röder, Matthias Jerusalem Anhang B: Modell mit Messzeitpunkt als Prädiktor Level 1 γ = π 0 + π 1 (MZP) + e Level 2 π 0 = β 00 π 1 = β 10 + r 1 Level 3 β 00 = γ 000 β 10 = γ 100 + u 10 Regressionsgleichung: γ = γ 000 + γ 100 (MZP) + u 10 + r 1 + e Anhang C: Modell mit zusätzlichem Level-3-Prädiktor Level 1 γ = π 0 + π 1 (MZP) + e Level 2 π 0 = β 00 π 1 = β 10 + r 1 Level 3 β 00 = γ 000 β 10 = γ 100 + γ 101 (Anz. Transparenzpapiere) + u 10 Regressionsgleichung: γ = γ 000 + γ 100 (MZP) + γ 101 (Anz. Transparenzpapiere) × (MZP)+ u 10 + r 1 + e Erläuterungen Level 1 π 0 Mittelwert zum ersten Messzeitpunkt π 1 Steigungskoeffizient (Slope), entspricht der Veränderung von Messzeitpunkt 1 (mit Null kodiert) zu Messzeitpunkt 2 (mit „1“ kodiert) e messzeitpunktspezifischer Fehlerterm (Messfehler) Level 2 β 00 Mittelwert über alle Schüler einer Klasse β 10 mittlere Steigung aller Schüler einer Klasse r 1 schülerspezifischer Steigungskoeffizient = Abweichung des Steigungskoeffizienten eines Schülers in einer Klasse von der mittleren Steigung der Schüler seiner Klasse Level 3 γ 000 Mittelwert aller Klassen γ 100 mittlere Steigung in allen Klassen γ 101 klassenspezifischer Regressionskoeffizient für die Anzahl der Transparenzpapiere u 10 klassenspezifischer Steigungskoeffizient = Abweichung des Steigungskoeffizienten einer Klasse von der mittleren Steigung aller Klassen