n Empirische Arbeit Psychologie in Erziehung und Unterricht, 2013, 60, 241 - 252 DOI 10.2378/ peu2013.art18d © Ernst Reinhardt Verlag München Basel Lernverlaufsdiagnostik Mathematik: Test auf Änderungssensibilität bei rechenschwachen Grundschülern Karl Josef Klauer 1 , Alfons M. Strathmann 2 1 Universität Aachen 2 Universität Köln Assessing Growth in Mathematical Achievement: A Test of Sensitivity to Change with Underperforming Elementary Students Summary: The new tests of assessing learning development should be able to test the same competency repeatedly over a longer period of time. This is possible if there are enough parallel tests available or - as in case of the new test Assessing Growth in Mathematical Achievement (Strathmann & Klauer, 2012) - if every child receives each time a randomly generated sample of items representing the set of items that should be mastered at the end of the school year. Moreover, it is essential that the procedure is able to detect increases as well as decreases in the competency. In this contribution it will be tested whether or not the test is sensible to measure changes in competency. This is done by a quasi-experiment to promote mathematical achievement of slow learners in mathematics from twelve classes of elementary schools. The study included a training and a control condition, lasted seven weeks and the course of children’s learning progress was documented by pre-, post- und follow-up tests. The results confirm the hypothesis that the test procedure was able to measure change sensibly with underperforming elementary students. Keywords: Assessing growth of achievement, measurement of learning progress, measurement of change, mathematical test Zusammenfassung: In Testverfahren zur Lernverlaufsdiagnostik kommt es zunächst darauf an, über einen längeren Zeitraum hinweg wiederholt ein und dieselbe Kompetenz zu messen. Das ist möglich, wenn entweder genügend echte Paralleltests zur Verfügung stehen oder wenn jedes Kind bei jedem Test eine neue zufallsgenerierte Stichprobe von Aufgaben erhält, die die Menge von Aufgaben repräsentiert, welche beherrscht werden soll. Letzteres ist bei dem neuen Test Lernverlaufsdiagnostik Mathematik (Strathmann & Klauer, 2012) der Fall. Zusätzlich ist allerdings der Nachweis zu fordern, dass das Verfahren in der Lage ist, Kompetenzzuwächse sowie Kompetenzverluste festzustellen. Der Nachweis der Änderungssensibilität des Verfahrens soll im vorliegenden Beitrag durch ein Quasi-Experiment zur Förderung rechenschwacher Grundschulkinder aus 12 dritten Klassen erbracht werden. Der Versuch dauerte sieben Wochen und umfasste eine Fördersowie eine Kontrollbedingung, wobei die Leistungsentwicklung mittels Prä-, Post- und Follow-up-Tests dokumentiert wurde. Die Teilnahme an dem Förderprogramm bewirkte größere Leistungszuwächse als die Teilnahme am regulären Unterricht. Die Ergebnisse bestätigen insoweit die Erwartung, dass Leistungszuwächse durch den Test nachgewiesen werden konnten. Schlüsselbegriffe: Lernverlaufsdiagnostik, Lernfortschrittsmessung, Veränderungsmessung, Mathematiktest Bei der Lernverlaufsdiagnostik geht es grundsätzlich darum, die Entwicklung ein und derselben Kompetenz über einen längeren Zeitraum zu messen, etwa über ein ganzes Schuljahr hinweg. Zu diesem Zweck werden regelmäßig Tests erhoben, die reliabel und valide die jeweilige Ausprägung eben dieser Kompetenz erfassen sollen. Man spricht dann von Lernfort- 242 Karl Josef Klauer, Alfons M. Strathmann schrittsmessung oder besser von Lernverlaufsdiagnostik, weil es um Verfahren geht, die mit immer neuen, aber prinzipiell gleichwertigen Tests die Entwicklung einer wohldefinierten Kompetenz über die Zeit hinweg dokumentieren lassen. Stellt man die Ergebnisse grafisch dar, so erhält man Verlaufskurven etwa über ein ganzes Schuljahr hinweg, die zeigen, wie sich die Kompetenz beim einzelnen Kind oder bei der Klasse insgesamt entwickelt hat. Betrachtet man solche Kurven, so hat man es mit einer Vielfalt von Verläufen zu tun. Insbesondere bei den Verläufen, die auf den Mittelwerten ganzer Schulklassen beruhen, begegnet man vergleichsweise oft linearen Anstiegen, dass etwa das ganze Schuljahr über mehr oder minder stetig anwachsende Leistungen zu beobachten sind. Die Klassen unterscheiden sich aber erfahrungsgemäß in dem Niveau, mit dem sie das Schuljahr beginnen, und in der Steigung, also im Anstieg. Manche Klassen fangen sozusagen am Nullpunkt an, während andere schon beim Schuljahresbeginn etwa die Hälfte des Ziels erreicht haben, um das es in dem Schuljahr geht. In solchen Fällen stoßen die Verlaufskurven oft schon relativ früh an die „Decke“, wenn nämlich das Lehrziel vorzeitig eingestellt wird. Dann hat man es mit einer nichtlinearen Entwicklung zu tun, denn es resultieren am Ende deutlich abgeschwächte Steigungen. Ist der Anstieg weniger steil, so hat man es unter Umständen zwar die ganze Zeit über mit linearen Verläufen zu tun, die das Lehrziel aber am Ende verfehlen. Eindeutig nichtlinearen Verläufen begegnet man vor allem auf der Individualebene, wenn man also die Entwicklung einzelner Kinder verfolgt. Man begegnet dann auch weniger erfreulichen Verläufen, etwa dass man mit einem Auf und Ab konfrontiert wird, für das es die verschiedensten Ursachen geben kann. Mitunter resultieren sogar Leistungsabfälle, die Lehrkräfte vielleicht gar nicht bemerkt haben würden. In solchen Fällen kann die Lernverlaufsdiagnostik Lehrkräfte jedenfalls in die Lage versetzen, problematische Entwicklungen frühzeitig zu erkennen und ihnen angemessen entgegenzuwirken. Erfreulicherweise kommt es aber auch vor, dass nach einer längeren Phase geringer Fortschritte plötzlich eine Art Durchbruch erreicht wird, so als ob nun „der Groschen gefallen“ sei. Auf diese Weise eröffnet sich mit der Lernverlaufsdiagnostik ein Feld, das viele neue Fragen aufwerfen dürfte, das aber auch den Lehrkräften in der Praxis unmittelbar hilfreiche Informationen liefert. Herkömmliche Schulleistungstests eignen sich für die Lernverlaufsdiagnostik in aller Regel nicht, denn schlichte Testwiederholungen können nicht infrage kommen, da die Tests ihrer Bekanntheit wegen immer leichter zu lösen wären, und Paralleltests stehen bei Schulleistungstests selten mehr als zwei zur Verfügung. Deshalb kommt es darauf an, neue Möglichkeiten zu eröffnen. Das amerikanische Konzept des curriculum-based measurement (CBM; vgl. Deno, 2003; Diehl & Hartke, 2007; Fuchs, 2004; Klauer, 2006), das vornehmlich im sonderpädagogischen Kontext entwickelt worden ist, regte zu bemerkenswerten Weiterentwicklungen im deutschen Sprachraum an, die in methodischer Hinsicht zum Teil deutlich über CBM-Ansätze hinausgehen (dazu Klauer, 2011). Ein erstes deutsches Verfahren hat Walter (2010) mit seiner Lernfortschrittsdiagnostik Lesen vorgelegt, bei dem 28 vergleichbare Paralleltests zur Verfügung stehen, um die Entwicklung der Lesefertigkeit über einen längeren Zeitraum hinweg angemessen zu dokumentieren. Später folgte sein „Verlaufsdiagnostikum sinnentnehmendes Lesen“ für die Klassenstufen 2 - 4 (Walter, 2013). Ein ähnliches Verfahren, das es gestattet, die Entwicklung der Lesekompetenz schwacher Viertklässler zu verfolgen und das via PC präsentiert und ausgewertet wird, haben Souvignier und Förster (2011) entwickelt, während Wilbert und Linnemann (2011) die Technik des C-Tests einsetzen, um die Sprachkompetenz lernschwacher Kinder mittels Paralleltests längerfristig zu verfolgen. Sie bedienen sich dabei unter anderem auch eines probabilistischen Testmodells. Die meisten dieser Ansätze wie auch der folgende lassen die CBM-Forschung deutlich hinter sich, insbesondere in methodischer Hinsicht. Lernverlaufsdiagnostik Mathematik 243 Von der CBM-Tradition haben Strathmann und Klauer (2012) die Anregung übernommen, ein und dieselbe Kompetenz in ihrer Entwicklung über einen längeren Zeitabschnitt hin zu verfolgen. In testmethodischer Hinsicht griffen sie allerdings einen anderen Ansatz auf. Statt Paralleltests im klassischen Sinne zu erarbeiten, entschieden sie sich für ein spezielles probabilistisches Modell, das es gestattet, prinzipiell unbegrenzt viele kontent- oder lehrzielvalide Tests zu erstellen und einzusetzen. Es handelt sich - wie noch deutlich werden wird - um eine spezielle Variante kriteriumsorientierter Tests. Im ersten Schritt wird dabei die Menge der Aufgaben präzise definiert, die am Ende eines Schuljahres beherrscht werden soll, wobei im zweiten Schritt die Menge in homogenere Teilmengen zerlegt wird. Aus dieser Grundmenge können im dritten Schritt bei festgelegter Repräsentation der Teilmengen beliebig viele Zufallsstichproben mit einem entsprechenden Verfahren generiert werden. Wenn nun jedes Kind eine eigene Zufallsstichprobe von Aufgaben erhält, spricht man von Itemsampling, ein Verfahren, das erst in der Zeit des Computers praktikabel geworden ist. Nun lassen sich solche Itemstichproben nach dem Binomialmodell auswerten, wie Lord und Novick schon 1968 hergeleitet hatten, also gemäß einem testtheoretisch gesicherten Verfahren. Die Reliabilität eines solchen Tests ist durch die Kuder- Richardson-Formel 21 bestimmbar, aber auch durch das Split-half-Verfahren. Die Retestreliabilität kommt - streng genommen - nicht infrage, da kein solcher Test je wiederholt wird, weil immer neue Zufallsstichproben per Itemsampling generiert und eingesetzt werden. Natürlich kann man verschiedene Tests, die nacheinander erhoben worden sind, miteinander korrelieren, etwa im Sinne einer Pseudo-Paralleltestreliabilität. Nimmt man alles in allem, so gehört das binomiale Testmodell zu den Standardverfahren kriteriumsorientierter oder lehrzielorientierter Tests. Nähere Einzelheiten hierzu finden sich andernorts (Klauer, 1987). Im Rahmen der Lernverlaufsdiagnostik haben die Autoren dieses Verfahren bereits mehrfach erprobt, und zwar im Bereich Rechtschreibung (Strathmann & Klauer, 2008; Strathmann, Klauer & Greisbach, 2010) sowie im Bereich Mathematik (Strathmann & Klauer, 2010). Während das Rechtschreibverfahren die ersten Bewährungsproben noch nicht bestanden hat und offensichtlich der Weiterentwicklung bedarf, hat das Mathematikverfahren zufriedenstellende Werte gebracht, sodass es nun allgemein für die Klassen 2, 3 und 4 zur Verfügung gestellt werden konnte (Strathmann & Klauer, 2012). Ein bedeutsamer Vorteil der Lernverlaufsdiagnostik Mathematik ist also in seiner Kontentvalidität oder Lehrzielvalidität zu sehen. Um diesen Aspekt in der Testentwicklung zu realisieren, wurde zunächst eine Übersicht über die Lehrpläne der Länder der Bundesrepublik erstellt und pro Schuljahr ein Zielkatalog erarbeitet, der weitgehend die Anforderungen aller Länder erfüllt. Berücksichtigt wurden nur die Anforderungen an das formale Rechnen in den vier Bereichen Addition, Subtraktion, Multiplikation und Division. Wie die Aufgabenmengen und ihre Teilmengen im Einzelnen definiert wurden, wird unten an einem Beispiel erläutert. Diese Definitionen wurden auf Computer übertragen zusammen mit einem Hilfsprogramm zur Generierung von Zufallsaufgaben gemäß den Samplingbedingungen, wie sie für die vier Bereiche festgelegt worden sind. So ist es nun möglich, beliebig oft und beliebig viele Aufgabenblätter auszudrucken, von denen jedes einzelne zwar immer andere Aufgaben bietet, aber dennoch genau die Rechenleistungen erfordert, um die es geht. Jedes generierte Testblatt stellt also eine repräsentative Zufallsstichprobe der Grundmenge dar, welche ihrerseits genau die Menge von Aufgaben definiert, die die Kinder am Ende des Schuljahres beherrschen sollen. Weiterhin ist allerdings von Bedeutung, dass sich die so erzeugten Aufgabenblätter in ihrer Schwierigkeit nicht bedeutsam unterscheiden dürfen: Zu leichte Aufgabenstichproben können Zuwächse 244 Karl Josef Klauer, Alfons M. Strathmann vortäuschen, zu schwere können Leistungsverluste vermuten lassen. Insofern stellt die Homogenität der Testschwierigkeiten eine Voraussetzung dar, die unerlässlich ist. Im vorliegenden Fall konnte sie durch umfangreiche empirische Studien nachgewiesen werden wie das Testmanual ausweist. Können nun Anwender im Laufe der Zeit einen Leistungszuwachs feststellen, so spricht dies testtheoretisch klar für einen Kompetenzzuwachs, wie er mit traditionellen Schulleistungstests nicht ermittelt werden kann. Effektive Lernverlaufsdiagnostik setzt allerdings weiterhin voraus, dass die Verfahren in der Lage sind, Kompetenzzuwächse wie Kompetenzverluste sensibel zu erfassen. Eine solche Diagnostik muss also Kompetenzänderungen diagnostizieren können, was als eine Voraussetzung für Veränderungsmessung gilt. Veränderungsmessung spielt traditionell in anderen Bereichen der Psychologie eine große Rolle, so in der Klinischen Psychologie, etwa wenn der Effekt einer Verhaltenstherapie gemessen werden soll. Da es sich bei Erziehung und Unterricht jedoch um langfristige Interventionen handelt, sollte man annehmen, dass wiederholtes „dynamisches Testen“ (so bezeichnen Sternberg & Grigorenko, 2002, ein Verfahren, das Veränderungen erfassen kann) in der Pädagogischen Psychologie besonders stark vertreten sei. Das ist aber keineswegs der Fall, hauptsächlich weil es noch an hierzu geeigneten Testverfahren mangelt. Es gibt zwar eine Reihe bedeutsamer Längsschnittstudien zur Erfassung von Entwicklungsverläufen, doch setzen die notwendigerweise auf verschiedenen Altersstufen verschiedene Testverfahren ein wie dies beispielsweise bei den LOGIK- und SCHOLASTIK-Studien (Weinert, 1998) geschehen ist. Dabei geht es also nicht um Veränderungsmessung. Lernverlaufsdiagnostik sollte jedenfalls in der Lage sein, Zuwächse in der Kompetenzentwicklung, aber auch etwaige Lernverluste zuverlässig zu erfassen, wenn das Verfahren in regelmäßigen Abständen eingesetzt wird. Es sollte also änderungssensibel sein, ein Aspekt, dem im Rahmen der Veränderungsmessung zentrale Bedeutung zukommt (Bryk & Raudenbush, 1987; Fischer & Formann, 1982; Klauer, 2011; Petermann, 1978, 2010; Petermann & Hehl; 1979). In der klassischen wie der probabilistischen Testtheorie gibt es viele Möglichkeiten, änderungssensible Items zu identifizieren, wie dies Krauth (1995) an verschiedenen Stellen seines Lehrbuchs dargelegt hat. Allerdings geht es hier nicht um änderungssensible Items, sondern um änderungssensible Tests überhaupt. Ob ein solcher Test insgesamt änderungssensibel ist, wird zweckmäßig durch ein spezielles Experiment überprüft. Hierzu bietet sich ein Zwei-Gruppen- Versuchsplan an mit einer Gruppe, die speziell gefördert wird, und einer Kontrollgruppe ohne diese spezielle Förderung, wobei die Gruppen entsprechende Prä- und Posttests erhalten. Die Fördergruppe sollte dann einen höheren Zugewinn als die Kontrollgruppe erzielen, die die spezielle Intervention ja nicht erhält. Lässt sich ein solcher differenzieller Zugewinn nachweisen, so hat man gezeigt, dass (a) die Förderung wirksam ist, was jetzt aber nur mittelbar interessiert, und dass (b) der Test Zuwächse der fraglichen Kompetenz auch diagnostizieren kann. Ein solches Vorgehen ist jedoch mit spezifischen Nachteilen verbunden: Lassen sich nämlich keine förderbedingten Zuwächse nachweisen, so bleibt unklar, ob dies am Versagen der Förderung oder am Testverfahren liegt, das wenig geeignet sein könnte für die Erfassung etwa von leichten Kompetenzänderungen. Treten die erwarteten Kompetenzsteigerungen aber ein, so ist einerseits die Förderung als wirksam nachgewiesen, andererseits aber auch die Eignung des Testverfahrens, solche Zuwächse zu belegen. Theoretisch wäre es natürlich auch möglich, Leistungsverluste etwa durch starke Belastungen, zum Beispiel durch Überforderung, Zeitdruck, Lärmbelästigung oder durch noch bedenklichere Praktiken, zu provozieren, um die Änderungssensibilität der Testverfahren nachzuweisen. Ein solches Vorgehen bleibt aus ethischen Gründen ausgeschlossen. Lernverlaufsdiagnostik Mathematik 245 Bei Tests auf der Grundlage des Binomialmodells ist es weiterhin möglich, das Ausmaß der Änderung, also den Lerngewinn oder Lernverlust, zu messen, und zwar sowohl für einzelne Kinder als auch mit Bezug zu Mittelwerten der Klasse. Hierzu eignet sich die Lehrzielnorm, aber auch die individuelle Norm. Hat etwa ein Kind vor zwei Wochen 13 und heute 15 von 24 immer neuen Aufgaben richtig gelöst, so hat es sich im Sinne der individuellen Norm um zwei richtige Lösungen verbessert. Die Lehrzielnorm bedient sich des Personenparameters p, der beim Binomialmodell einfach durch die Beziehung p = x/ n geschätzt wird, wobei x die Anzahl richtiger Lösungen und n die Anzahl der gebotenen Testaufgaben bedeuten. Im Sinne der Lehrzielnorm erreichte das erwähnte Kind vor zwei Wochen 54 % der am Schuljahrsende geforderten Aufgaben, heute dagegen 63 %. Es hat sich also um neun Prozentpunkte verbessert. Solche Quantifizierungen des Lernzuwachses oder des Lernverlusts sind weder bei den üblichen Klassenarbeiten noch bei den herkömmlichen Schulleistungstests möglich. In diesen Fällen kann man nur die soziale Norm anwenden, etwa im Vergleich der Leistung des einzelnen mit den Leistungen der übrigen Kinder der Klasse oder mit denen der Vergleichsgruppe. Verbesserungen oder Verschlechterungen lassen sich so nicht ermitteln, obwohl diese gerade motivationspsychologisch wertvoll sind. Zusätzlich lässt sich eine Verbesserung oder Verschlechterung für ganze Klassen oder Gruppen dank einer Abwandlung der Effektstärke d von Cohen (1977) ermitteln, wie dies unten gezeigt werden wird. Damit Aussagen zum Ausmaß der Leistungsänderungen vertretbar sind, geht es nun in der vorliegenden Studie darum, die Änderungssensibilität der Lernverlaufsdiagnostik Mathematik zu testen, die Strathmann und Klauer (2012) vorgelegt haben. Die Überprüfung erscheint insofern besonders angebracht, da bei diesem Verfahren jedes Kind bei jeder Testung eine eigene neue Zufallsstichprobe von Aufgaben erhält. Es ist uns kein Verfahren bekannt, für das unter diesen Bedingungen die Änderungssensibilität je nachgewiesen worden wäre. Erschwerend kommt hinzu, dass bei dem Verfahren immer nur 24 Testaufgaben geboten werden. Das ist bewusst so eingerichtet worden, denn Lehrkräfte werden eher geneigt sein, Tests regelmäßig zu erheben, wenn die einzelnen Tests nicht allzu lange Zeit in Anspruch nehmen. Auf der anderen Seite könnten solche relativ kurzen Tests möglicherweise nicht hinreichend änderungssensibel sein, um Kompetenzzuwächse verlässlich zu erfassen, zumal längere Tests im Allgemeinen reliabler sind (Lienert & Raatz, 1998, S. 33). Zentrale Fragestellung ist also die experimentelle Überprüfung der Änderungssensibilität des neuen Tests Lernverlaufsdiagnostik Mathematik. Die zu überprüfende Hypothese lautet demnach: Das Förderprogramm, das hier eingesetzt werden soll, bewirkt in den Tests der Lernverlaufsdiagnostik Mathematik bei Kindern, die an der speziellen Förderung teilgenommen haben, größere Lernzuwächse als bei Kindern, die nur am regulären Unterricht teilnehmen konnten. Die allgemeingültig formulierte Hypothese wird hier nur mit Blick auf rechenschwache Kinder überprüft, einfach weil diese einer speziellen Förderung besonders bedürfen. Methode Versuchspersonen Das neue Testverfahren ist in den Grundschulklassen 2, 3 und 4 einsetzbar. Für den Versuch wurden 12 dritte Klassen herangezogen, von denen sechs aus sozialen Brennpunkten stammten. Nach einem ersten Test wurden in jeder Klasse die sechs leistungsschwächsten Kinder ermittelt, also insgesamt 72 Kinder, die in den Versuch einbezogen wurden. Davon erhielten die Kinder der sechs Klassen aus sozialen Brennpunkten ein spezielles Förderprogramm, während die Kinder aus den übrigen sechs Klassen an ihrem regulären Unterricht teilnahmen, aber zu den jeweiligen Tests ebenfalls herangezogen 246 Karl Josef Klauer, Alfons M. Strathmann wurden. Erwartungsgemäß waren diese Letzteren in ihrer Leistung zwar von Anfang an besser, doch sollte die Einzelförderung den schwächeren Kindern deutlich größere Leistungszuwächse bringen als den Vergleichsprobanden der reguläre Unterricht in gleicher Zeit. Es handelt sich also um ein Quasi-Experiment, da die Kinder den Bedingungen nicht zufällig zugeordnet worden sind. Wie schon Campbell und Stanley (1966) ausführlich dargelegt hatten, können solche Versuchsanordnungen gerade auch in pädagogisch-psychologischen Zusammenhängen durchaus sinnvoll sein. Im vorliegenden Fall sollte sichergestellt werden, dass besonders rechenschwache Kinder von der Förderung profitierten und dass deren Lehrkräfte die Belastung akzeptieren würden, die durch das Training einzelner Kinder unvermeidbar entstehen musste. Vorgesehen war, dass in der Förderbedingung wie in der Kontrollbedingung jeweils 36 Kinder teilnehmen würden. Tatsächlich fehlten einige Kinder bei den späteren Tests (s. Tab. 2). Erzeugung der Testaufgaben Für jedes Schuljahr wurden die Aufgabenmengen präzise definiert, um eine Basis zur Erzeugung immer neuer Testaufgaben zur Verfügung zu haben. Das Vorgehen hierzu sei am Beispiel der Subtraktionsaufgaben für die dritte Klasse kurz demonstriert (vgl. Tab. 1). Die Aufgabenmenge ist durch fünf Spalten und drei Zeilen festgelegt. In den Spalten sind die Aufgabenformen angegeben, die zu verwenden sind, in den Zeilen der jeweilige Zahlenraum, der in die Aufgabenformen einzusetzen ist (E = Einer, Z = Zehner, H = Hunderter). So wurde die Gesamtmenge der Subtraktionsaufgaben in 15 relativ homogene Teilmengen zerlegt, von denen allerdings nur sechs herangezogen werden. Die Zahl sechs liegt insofern fest, als analog je sechs Aufgaben zur Addition, Multiplikation und Division erzeugt werden. So kommt es, dass mit 24 Aufgaben das ganze Lehrziel abgedeckt wird. Bei der Stichprobenziehung werden also stets nur die Teilmengen in der festgelegten Weise berücksichtigt (Samplingvorgabe). Die Einschränkung auf sechs Aufgaben bewirkt, dass einzelne Teilmengen nicht vertreten sein werden. Man hätte natürlich so vorgehen können, dass man jeweils sechs Aufgaben so ausgewählt hätte, dass jede der 15 Teilmengen der Subtraktion eine gleiche Chance bekommen hätte, in ein Aufgabenblatt aufgenommen zu werden. Stattdessen haben wir es vorgezogen, in einem letztlich willkürlichen Akt diejenigen Teilmengen zu berücksichtigen, die in den Schulbüchern am häufigsten anzutreffen sind. Auf diese Weise sollten einerseits die zentralen Teilmengen repräsentiert sein, andererseits aber die Variabilität der Aufgaben zwischen verschiedenen Aufgabenblättern begrenzt bleiben, und zwar im Interesse der Homogenität der Testschwierigkeiten wie auch der Reliabilität und Validität der Ergebnisse. Solche unerwünschten Konsequenzen wären wohl unvermeidbar, würden die Aufgabenblätter mal diese und mal jene Teilmengen berücksichtigen. Im Folgenden gelten die so definierten Aufgabenmengen mit den Samplingvorgaben als das Lehrziel, das am Schuljahresende erreicht sein soll. Diese Definitionen sind dem Computerprogramm implementiert worden, sodass der Computer Aufgabenblätter beliebig oft herstellen kann. Hierzu bedient er sich eines speziellen Programms zur Erzeugung von Zufallszahlen, wobei natürlich genau die festgelegten Zahlbereiche zu berücksichtigen sind, wie sie in den Mengendefinitionen vorgegeben wurden. Diese Prozedur gewährleistet immer neue Testblätter, die in ihrer Struktur völlig identisch sind, aber jeweils andere Zahlen bieten. Ein Beispielblatt findet sich im Anhang. c - b c - __ = a HZE*** - HZE X00* - HZE 1000 - HZE HZE** - E** 1 HZE - ZE*** 1 HZE - HZE*** 1 1 1 1 Tab. 1: Definition der Aufgabenmenge Subtraktion 3. Klasse Anmerkungen: * X > H, ** erstes E < zweites E, *** ZE - ZE > 0. Lernverlaufsdiagnostik Mathematik 247 Tests, Durchführung und Auswertung Getestet wurden stets alle Kinder der Klasse, auch wenn nur die Daten der jeweils sechs ausgewählten Kinder in die weitere Auswertung eingingen. So konnten die übrigen Kinder nicht bemerken, dass nur die Daten weniger von besonderem Interesse waren. Eingesetzt wurden die entsprechenden Testblätter der Lernverlaufsdiagnostik Mathematik. Zu diesem Zweck erhielt jedes Kind jeder Klasse bei jedem Termin ein eigenes Testblatt ausgedruckt, das von dem Computerprogramm generiert worden war. Die Kinder wurden dabei besonders auf zwei Aspekte aufmerksam gemacht: Da jedes Kind eine andere Zusammenstellung von Aufgaben erhält, ist ein Versuch zum Abschreiben kontraproduktiv. Außerdem wurde erläutert, dass der Test auch Aufgaben enthält, die das Kind noch nicht beherrscht und die es einfach auslassen soll. Diese Besonderheit ist unvermeidbar bei einem Test, der die Kompetenz misst, welche erst am Ende des Schuljahres beherrscht werden soll, der aber auch schon zu Schuljahresbeginn einzusetzen ist. Die ersten Tests wurden Anfang März, die letzten Anfang Mai erhoben, nachdem also gut zwei Drittel des Schuljahres schon absolviert waren. Auf diese Weise wurden insgesamt drei Testungen durchgeführt. Zwischen Prätest und Posttest lagen vier Wochen, zwischen Posttest und Follow-up-Test fünf Wochen, und zwar zwei Wochen Osterferien und drei Schulwochen. Die Testdurchführung lag bei zwei Diplompsychologen, wissenschaftliche Mitarbeiter, und zwei studentischen Hilfskräften. Nach der Auswertung der Tests gab es entsprechende Rückmeldungen an die Klassenlehrerinnen. Das Förderprogramm Bei der Zusammenstellung des Förderprogramms standen folgende Erwägungen im Vordergrund. Die Forschung ist sich darin einig, dass die Schwierigkeiten rechenschwacher Grundschulkinder zum großen Teil im Bereich ganz elementarer Rechenprozesse liegen, die von anderen Kindern oft schon im ersten Schuljahr weitgehend bewältigt werden. Den rechenschwachen Kindern fehlt es insbesondere daran, die Lösung solch einfacher Aufgaben ohne Anstrengung aus dem Gedächtnis abrufen zu können (vgl. Bönig, 1995; Fritz, Ricken & Schmidt, 2003; Geary & Hoard, 2001; Gerster, 2003; Landerl, Bevan & Butterworth, 2004). Mitunter fehlt es sogar an noch einfacheren Voraussetzungen wie etwa am sicheren Lesen und Schreiben von Zahlen, am Größenvergleich von Zahlen (Gaupp, Zoelch & Schumann-Hengsteler, 2004) oder am vorwärts und rückwärts Zählen etwa in Dreierschritten (Moog, 1993, 1995; Moog & Schulz, 1999) oder dass noch die Abzählstrategie eingesetzt wird bei Additions- und Subtraktionsaufgaben (Micallef & Prior, 2004). Dass eine spezielle Förderung im elementaren Rechnen durchaus hilfreich sein kann, war jedoch schon von Schoenfeld (2002) differenziert belegt worden, während Slavin und Lake (2008) sogar eine Metaanalyse über die Effekte von Förderprogrammen beim Rechnen erstellt haben, die allerdings nicht nur auf erfreulichen Ergebnissen fußte. Das hier eingesetzte Förderkonzept basiert theoretisch auf den vielfach erprobten Varianten des induktiven Intelligenztrainings von Klauer (Klauer & Phye, 2008; Lenhard, 2012; Marx, Keller & Beuing, 2011) und hier insbesondere auf dem Komplex des analogen Transfers. In der ersten Phase sollte es primär um die Beherrschung elementarer Rechenaufgaben gehen, während in der zweiten Phase der Transfer elementarer Aufgabenstrukturen auf anspruchsvollere Aufgaben eingeübt werden sollte. Die Aufgaben der ersten Phase entsprachen denen, die üblicherweise im Zentrum der ersten Klasse der Grundschule stehen, lagen also erheblich unterhalb den Anforderungen, die die eingesetzten Testblätter der dritten Klasse stellen. Anfangs wurden nur Aufgaben im Zahlenraum bis 10 und danach bis 20 auf vielfältig anschauliche Weise intensiv eingeübt. Dabei wurde darauf verzichtet, ein schriftlich fixiertes Förderprogramm zu absolvieren, denn da die Kinder einzeln gefördert wurden, war es vielmehr angebracht, auf die besonderen Bedingungen jedes einzelnen Kindes einzugehen und das Vorgehen an den speziellen Schwierigkeiten des Kindes und seinen Möglichkeiten auszurichten. Erst wenn der Eindruck entstanden war, dass das Kind im elementaren Rechnen wesentlich an Sicherheit gewonnen hatte, wurde in der zweiten Phase der Förderung ein weiterführendes analoges Rechentrainingskonzept absolviert, bei dem es darum ging, komplexere Aufgaben durch Rückführung auf analoge einfachere zu bewältigen, also durch Transferleistungen. Beispiel: Wenn etwa 54 - 6 zu rechnen war, wurde das Kind erinnert an 14 - 6, da beide Aufgaben eine 248 Karl Josef Klauer, Alfons M. Strathmann partiell gleiche Grundstruktur aufweisen. Entsprechend wurde gezeigt, dass man auch Aufgaben wie 540 - 60 oder 384 - 6 durch Rückgriff auf 14 - 6 leichter bewältigen kann. So wurde deutlich, wie sich Rechnen vereinfacht, sofern man die ganz elementaren Strukturen im Zahlenraum bis 20 beherrscht. Für Additionsaufgaben gilt dasselbe Transferprinzip ebenso wie für Zerlegungsaufgaben oder für die Multiplikation und Division (zum Beispiel 180 : 20 mit Rückgriff auf 18 : 2). Selbstverständlich gab es dabei vielfältige Gelegenheiten, andere Unklarheiten wie etwa solche zu dem Stellenwertsystem aufzuarbeiten. Auf diese Weise wurden also zunächst die elementaren Aufgaben auf breiter Basis anschaulich erarbeitet und möglichst bis zur Automatisierung gefestigt, um danach intensiv zu verdeutlichen, wie man durch Rückgriff auf die ganz einfachen Grundstrukturen auch viel anspruchsvollere Aufgaben elegant lösen kann. Die 36 Kinder, die zu fördern waren, wurden von vier Personen unterrichtet, die nicht die Tests durchführten. Es handelte sich um zwei wissenschaftliche Mitarbeiter, erfahrene Sonderpädagogen und um zwei studentische Hilfskräfte, Studierende des Lehramts mit Studienschwerpunkt Mathematik. Jedes Kind wurde zweimal wöchentlich für jeweils 30 Minuten einzeln gefördert. Die Förderung sollte nicht zu intensiv stattfinden, um die negativen Folgen einer Überforderung in Mathematik auf die Motivation zu vermeiden, wie sie Sparfeldt, Buch, Kolender und Rost (2011) nachweisen konnten. Die Förderung dauerte sieben Wochen. In den Förderstunden wurden die Testblätter, wie sie an den drei Testterminen einzusetzen waren, bewusst nicht verwendet. So sollte verhindert werden, dass die geförderten Kinder alleine schon durch den wiederholten Umgang mit dem Testmaterial einen Vorteil erhielten. Statistische Auswertung Der Fördereffekt wird durch Kovarianzanalysen geprüft und mittels des Effektstärkemaßes d korr (Klauer, 1989) der Größe nach abgeschätzt, wobei d korr = d Posttest d Prätest gesetzt ist und d die Effektstärke nach Cohen (1977) bedeutet. Das Maß d korr empfiehlt sich vor allem, wenn sich die Gruppen im Prätest deutlicher unterscheiden, was hier zu erwarten war. Aus diesem Grund wurden auch Kovarianzanalysen berechnet, eben weil dadurch etwaige Prätestunterschiede in Rechnung gestellt werden. Ergebnisse Tabelle 2 enthält die Ergebnisse der drei Testdurchführungen bei den Kindern der Fördergruppe und den Kindern der Kontrollgruppe. Der Verlauf der Mittelwerte über die drei Testtermine ist Abbildung 1 zu entnehmen. Wie man sieht, beginnt die Kontrollgruppe auf deutlich höherem Niveau, bringt dann aber nur relativ mäßige Zuwächse, wohingegen die Gruppe mit dem ergänzenden Förderunterricht nicht überraschend mit wesentlich schwächeren Leistungen startet, dann aber markant mehr zulegt und schon beim Posttest das Leistungsniveau der Kontrollkinder einstellt. In der ersten Kovarianzanalyse wurde der Posttest als abhängige Variable, die Förderung als unabhängige Variable und der Prätest als Kovariate eingesetzt. Der Unterschied zwischen den Gruppen im Prätest ist signifikant (p < .01), was laut Abbildung 1 nicht verwundert. Der Eindruck der deutlich besseren Zuwächse der Fördergruppe wird durch die Kovarianzanalyse Mittelwert und Standardabweichung Prätest Posttest Follow-up-Test Fördergruppe 5.86 ± 2.67 N = 36 10.86 ± 4.98 N = 35 13.00 ± 4.74 N = 34 Kontrollgruppe 10.58 ± 4.13 N = 36 11.00 ± 5.02 N = 33 12.15 ± 5.43 N = 27 Tab. 2: Anzahl richtig gelöster Aufgaben in den beiden Gruppen und bei den drei Testterminen (M ± s) Lernverlaufsdiagnostik Mathematik 249 bestätigt: Der Effekt der Förderung wurde signifikant (F [1, 65] = 11.73, p < 0.01) und die um Prätestunterschiede korrigierte Effektstärke beim Posttest beträgt d korr = 1.38. Die geförderten Kinder haben sich um mehr als eine Standardabweichung verbessert. In der zweiten Kovarianzanalyse wurde der Posttest ersetzt durch den Follow-up-Test, während die beiden anderen Variablen unverändert blieben. Erwartungsgemäß führten auch hier die Prätestunterschiede zu einem signifikanten Effekt. Mit Blick auf die Fragestellung ist jedoch bedeutsamer, dass der Fördereffekt ebenfalls signifikant nachgewiesen werden konnte (F [1, 58] = 13.04; p < .01). Die Berechnung der Effektstärke erreichte den noch leicht verbesserten Wert von d korr = 1.58. Insgesamt verbesserten sich die speziell geförderten Kinder im Kontrast zu den regulär geförderten Kindern um mehr als eineinhalb Standardabweichungen. Die zu prüfende Hypothese sagte voraus, dass die Teilnahme an dem speziellen Förderprogramm größere Leistungszuwächse bewirkt als die Teilnahme am regulären Unterricht. Die Hypothese kann mit Blick auf die Befunde beibehalten werden. Diskussion In dieser Untersuchung ging es darum zu prüfen, ob die Tests der Lernverlaufsdiagnostik Mathematik in der Lage sind, die Effekte einer zusätzlichen Förderung nachzuweisen. Der Nachweis ist insofern von Belang, als ein Verfahren der Lernverlaufsdiagnostik in der Lage sein sollte, die Kompetenzzuwächse, die Kinder im Laufe eines Schuljahres erfahren, tatsächlich auch abzubilden. Es handelt sich also um eine wesentliche Leistung zur Veränderungsmessung, die hier nachgewiesen werden sollte und bei den Tests einzusetzen sind, die stets dieselbe Kompetenz messen. Die spezielle Förderung stellte dabei die Intervention dar, mit deren Hilfe die Änderungssensibilität des Verfahrens aufgezeigt werden sollte. Wie man sieht, ist der Nachweis gelungen. Mit der Lernverlaufsdiagnostik Mathematik war es möglich, den Effekt der zusätzlichen mathematischen Förderung eindeutig abzubilden. Einschränkend wird man berücksichtigen, dass der Nachweis bewusst nur bei rechenschwachen Kindern durchgeführt wurde, die allerdings wegen ihrer Schwäche der Förderung besonders bedürfen. Unter vergleichbar intensiven Förderbedingungen profi- Abb. 1: Lernverlauf der beiden Gruppen über den Zeitraum von neun Wochen. 250 Karl Josef Klauer, Alfons M. Strathmann tieren leistungstüchtigere Kinder vermutlich noch deutlich mehr. Ferner kann man nicht ausschließen, dass ein anderes Förderkonzept noch zu deutlich besseren Ergebnissen führen könnte. Zu beachten ist allerdings, dass die Befunde mit immer neuen Testblättern erhoben worden sind: Jedes der Kinder hat, wie oben ausgeführt, bei jedem Termin ein eigens erzeugtes Testblatt bekommen, von denen keine zwei gleich waren. Allerdings prüfen alle Testblätter kontent- oder lehrzielvalide, was von den Kindern am Ende des Schuljahres beherrscht werden soll. Ferner ist zu beachten, dass die Tests vergleichsweise kurz sind, da sie nur 24 Aufgaben umfassen. Man könnte sich eine noch deutlichere Förderung der Kinder vorstellen. Bei der Beurteilung des Fördereffekts ist aber auch die geringe Förderzeit zu berücksichtigen: Das Training dauerte zwar sieben Wochen, bestand aber nur aus zwei Trainingssitzungen von je 30 Minuten pro Woche. Normalerweise würde man von einer solchen Intervention bei sehr leistungsschwachen Kindern nicht allzu große Effekte erwarten. Nicht zu übersehen ist allerdings dabei, dass der größte Kompetenzzuwachs in der ersten Phase des Versuchs lag, wie auch aus der Abbildung hervorgeht. Die korrigierten Effektstärken verdeutlichen ebenfalls, dass der Schwerpunkt der Förderung in der ersten Phase lag und dass in der zweiten Phase nur ein relativ geringer weiterer Zuwachs zu verzeichnen ist. Nun standen in der ersten Phase der Förderung bewusst jene ganz elementaren Aufgaben im Mittelpunkt, welche die meisten Kinder am Ende des ersten Schuljahres schon beherrschen. Wie aufgrund der Literatur erwartet worden war, sind es gerade diese elementaren Aufgaben, an denen mathematikschwache Kinder scheitern und deren anschauliche wie variantenreiche Einübung hier den deutlichen Fortschritt bewirkt haben dürfte. Dieser Aspekt könnte dazu ermutigen, den elementaren Rechenoperationen bei lernschwachen Kindern in ganz besonderer Weise Aufmerksamkeit zuzuwenden. Offenbar war die Förderung der Kinder in der zweiten Phase nicht so erfolgreich wie in der ersten Phase. Nun lagen zwischen den beiden Phasen die Osterferien von zwei Wochen, in denen die rechenschwachen Kinder wohl doch mehr als andere Kinder vergessen haben mögen, sodass die verbliebene Zeit von drei Wochen wohl nicht ausgereicht hat, um den Transfer elementarer Zahlbeziehungen auf anspruchsvollere Aufgaben einzuüben. Vermutlich gelang es nicht in dem gewünschten Ausmaß den Kindern beizubringen, Aufgaben aus dem erweiterten Zahlbereich durch Rückgriff auf analoge Aufgaben im Zahlenraum bis 20 zu lösen. Möglicherweise ist dieser Ansatz auch nicht so erfolgversprechend wie angenommen. Allerdings überschreiten solche und weitere Fragen das Problem, um das es hier ging, nämlich die Änderungssensibilität des Testverfahrens, die unabhängig von dieser Problematik belegt worden ist. Literatur Bönig, D. (1995). Multiplikation und Division. Empirische Untersuchungen zum Operationsverständnis bei Grundschülern. Münster: Waxmann. Bryk, A. S. & Raudenbush, S. W. (1987). Application of hierarchical linear models to assessing change. Psychological Bulletin, 101, 147 - 158. Campbell, D.T. & Stanley, J. C. (1966). Experimental and quasi-experimental designs for research. Chicago: Rand McNally. Cohen, J. (1977). Statistical power analysis for the behavioral sciences. New York: Academic Press. Deno, S. L. (2003). Developments in curriculum-based measurement. The Journal of Special Education, 37, 184 - 192. Diehl, K. & Hartke, B. (2007). Curriculumnahe Lernfortschrittsmessungen. Sonderpädagogik, 37, 195 - 211. Fischer, G. H. & Formann, A. K. (1982). Veränderungsmessung mittels linear-logistischer Modelle. Zeitschrift für Differentielle und Diagnostische Psychologie, 3, 75 - 99. Fritz, A., Ricken, G. & Schmidt, S. (Hrsg.). (2003). Rechenschwäche. Lernwege, Schwierigkeiten und Hilfen bei Dyskalkulie. Weinheim: Beltz. Fuchs, L. S. (2004). The past, present, and future of curriculum-based measurement research. School Psychology Review, 33, 188 - 192. Gaupp, N., Zoelch, C. & Schumann-Hengsteler, R. (2004). Defizite numerischer Basiskompetenzen bei rechenschwachen Kindern der dritten und vierten Klassenstufe. Zeitschrift für Pädagogische Psychologie, 18, 31 - 42. Geary, D. C. & Hoard, M. K. (2001). Numerical and arithmetical deficits in learning-disabled children: Relation to dyscalculia and dyslexia. Aphasiology, 15, 635 - 647. Lernverlaufsdiagnostik Mathematik 251 Gerster, H.-D. (2003). Schwierigkeiten bei der Entwicklung arithmetischer Konzepte im Zahlenraum bis 100. In A. Fritz, G. Ricken & S. Schmidt (Hrsg.), Rechenschwäche. Lernwege, Schwierigkeiten und Hilfen bei Dyskalkulie (S. 201-221). Weinheim: Beltz. Klauer, K. J. (1987). Kriteriumsorientierte Tests. Göttingen: Hogrefe. Klauer, K. J. (1989). Denktraining für Kinder I. Göttingen: Hogrefe. Klauer, K. J. (2006). Erfassung des Lernfortschritts durch curriculumbasierte Messung. Heilpädagogische Forschung, 32, 16 - 26. Klauer, K. J. (2011). Lernverlaufsdiagnostik - Konzept, Schwierigkeiten und Möglichkeiten. Empirische Sonderpädagogik, 3, 207 - 224. Klauer, K. J. & Phye, G. D. (2008). Inductive reasoning. A training approach. Review of Educational Research, 78, 85 - 123. Krauth, J. (1995). Testkonstruktion und Testtheorie. Weinheim: Beltz. Landerl, K., Bevan, A. & Butterworth, B. (2004). Developmental dyscalculia and basic numerical capacities. A study of 8 - 9 year old students. Cognition, 93, 99 - 125. Lenhard, A. (2012). Überprüfung des Trainingserfolgs der Denkspiele mit Elfe und Mathis. In A. Lenhard, W. Lenhard & K. J. Klauer, Denkspiele mit Elfe und Mathis (S. 16 - 18). Göttingen: Hogrefe. Lienert, G. A. & Raatz, U.(1998). Testaufbau und Testanalyse. Weinheim: Beltz. Lord, F. M. & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley. Marx, E., Keller, K. & Beuing, R. (2011). Die Erzieherin als Trainerin. Effekte kombinierter Denk- und Sprachförderung in Kindertagesstätten. Psychologie in Erziehung und Unterricht, 58, 41 - 51. Micallef, A. & Prior, M. (2004). Arithmetic learning difficulties in children. Educational Psychology, 24, 175 - 200. Moog, W. (1993). Schwachstellen beim Addieren. Eine Erhebung bei lernbehinderten Sonderschülern. Zeitschrift für Heilpädagogik, 8, 534 - 554. Moog, W. & Schulz, A. (1999). Zahlen begreifen. Diagnose und Förderung bei Kindern mit Rechenschwäche. Neuwied: Luchterhand. Petermann, F. (1978). Veränderungsmessung. Stuttgart: Kohlhammer. Petermann, F. (2010). Veränderungsmessung. In D. H. Rost (Hrsg.), Handwörterbuch Pädagogische Psychologie (S. 896 - 902). Weinheim: Beltz. Petermann, F. & Hehl, F.-J. (1979). Einzelfallanalyse. München: Urban & Schwarzenberg. Schoenfeld, A. H. (2002). Making mathematics work for all children: Issues of standards, testing, and equity. Educational Researcher, 31 (1), 13 - 25. Slavin, R. E. & Lake, C. (2008). Effective programs in elementary mathematics. A best-evidence synthesis. Revue of Educational Research, 78, 427 - 515. Souvignier, E. &. Förster, N. (2011). Effekte prozessorientierter Diagnostik auf die Entwicklung der Lesekompetenz leseschwacher Viertklässler. Empirische Sonderpädagogik, 3, 243 - 255. Sparfeldt, J. R., Buch, S. R., Kolender, J. & Rost, D. H. (2011). Überforderungs- und Unterforderungslangeweile in Mathematik: Differenzierung und Korrelate. In M. Dresel & L. Lämmle (Hrsg.), Motivation, Selbstregulation und Leistungsexzellenz (S. 53 - 70). Münster: LIT. Sternberg, R. J. & Grigorenko, E. L. (2002). Dynamic testing: The nature and measurement of learning potential. Cambridge: Cambridge University Press. Strathmann, A. M. & Klauer, K. J. (2008). Diagnostik des Lernverlaufs. Eine Pilotstudie am Beispiel der Rechtschreibkompetenz. Sonderpädagogik, 38, 5 - 24. Strathmann, A. M. & Klauer, K. J. (2010). Lernverlaufsdiagnostik: Ein Ansatz zur längerfristigen Lernfortschrittsmessung. Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 42, 111 - 122. Strathmann, A. M. & Klauer, K. J. (2012). Lernverlaufsdiagnostik - Mathematik für zweite bis vierte Klassen. Göttingen: Hogrefe. Strathmann, A. M., Klauer, K. J. & Greisbach, M. (2010). Lernverlaufsdiagnostik. Dargestellt am Beispiel der Entwicklung der Rechtschreibkompetenz in der Grundschule. Empirische Sonderpädagogik, 2, 64 - 77. Walter, J. (2010). Lernfortschrittsdiagnostik Lesen. Ein curriculumbasiertes Verfahren. Göttingen: Hogrefe. Walter, J. (2013). Verlaufsdiagnostikum sinnentnehmendes Lesen. Göttingen: Hogrefe. Wilbert, J. & Linnemann, M. (2011). Kriterien zur Analyse eines Tests zur Lernverlaufsdiagnostik. Empirische Sonderpädagogik, 3, 225 - 242. Weinert, F. E. (Hrsg.). (1998). Entwicklung im Kindesalter. Weinheim: Beltz PVU. Prof. Dr. Karl Josef Klauer Robert-Stolz-Weg 15 42781 Haan Fax: (0 21 29) 95 85 37 E-Mail: klauerk@uni-duesseldorf.de Prof. Dr. Alfons Strathmann Klosterstr. 79 b 50931 Köln E-Mail: alfons.strathmann@uni-koeln.de 252 Karl Josef Klauer, Alfons M. Strathmann Anhang