n Empirische Arbeit Psychologie in Erziehung und Unterricht, 2011, 58, 128 - 138 DOI 10.2378/ peu2010.art26d © Ernst Reinhardt Verlag München Basel Evaluation universitärer Lehre mittels Einschätzungen des subjektiven Kompetenzerwerbs Manuela Paechter, Brigitte Skliris, Daniel Macher Karl-Franzens-Universität Graz Evaluation of University Courses by Students’ Assessment of Acquisition of Competence Summary: The development of new structures for university studies due to the Bologna declaration and the subsequent changes of studies in Europe are accompanied by a new focus on the outcomes of educational processes as main criteria for the quality of education. In view of these changes, an instrument for the evaluation of university courses was developed which asks students to assess the competence they have gained in a course. The instrument assumes that university education is to impart the general competence to act and to solve problems. It comprises several spheres such as expertise in the respective knowledge domain, social, personal, and media competence. Two questionnaires were developed which assess the gains in the above mentioned competences, one for lecturer-oriented (lectures) and one for more interactive courses (e. g., seminars). For all questionnaires analyses of the item quality, of the reliability, and of the structure of the items were carried out. All in all, an instrument could be developed which satisfies statistical test criteria. Keywords: University teaching, course quality, evaluation, acquisition of competence, questionnaire development Zusammenfassung: Die durch den Bologna-Prozess initiierten Veränderungen in der Studienplanentwicklung in Europa lenken den Blick auf die Ergebnisse von Bildungsprozessen als Beschreibungsmerkmale für Lehrqualität. Mit Blick auf diese Veränderungen wurde ein neues Lehrevaluationsinstrument entwickelt, das den Kompetenzerwerb durch Selbsteinschätzungen der Studierenden erfasst. Das Instrument und das ihm zugrundeliegende Konzept erfassen den Erwerb von Handlungskompetenz mit Fach-, Methoden-, sozial-kommunikativer und personaler Kompetenz sowie Medienkompetenz. Es wurde jeweils ein Fragebogen für lehrendenzentrierte (Vorlesungen) und interaktive (z. B. Seminare) Lehrveranstaltungen mit Fokus auf unterschiedliche Kompetenzbereiche entwickelt. Es wurden Analysen der Items, der Reliabilität und der internen Struktur der Fragebögen durchgeführt. Insgesamt konnte ein Instrument entwickelt werden, welches testtheoretische Gütekriterien in gutem Maße erfüllt. Schlüsselbegriffe: Universitäre Lehre, Lehrveranstaltungsqualität, Evaluation, Kompetenzerwerb, Fragebogenentwicklung Mit der Unterzeichnung der Bologna-Deklaration haben sich 46 europäische Staaten dazu verpflichtet, bis 2010 einen einheitlichen europäischen Hochschulraum zu entwickeln. Einen wesentlichen Beitrag zur Beschreibung der Bildungsabschlüsse in diesem Hochschulraum leistet der Europäische Qualifikationsrahmen (EQF). Er beinhaltet eine allgemeine Darstellung des Qualifikationsprofils eines Absolventen/ einer Absolventin mit dem jeweiligen Abschluss, eine Beschreibung der Kompetenzen und Fertigkeiten (sogenannter Outcomes), über die ein Absolvent/ eine Absolventin verfügen soll, sowie eine Beschreibung Kompetenzorientierung in der Lehrevaluation 129 der formalen Aspekte eines Ausbildungslevels (Sellin, 2005). Ein solcher Wechsel von der Inputzur Output-Orientierung lenkt den Blick auf die Ergebnisse universitärer Ausbildung und deren Ziel, durch die Vermittlung von Kompetenzen den Einstieg in das Berufsleben zu ermöglichen (HRK, 2004). Folglich ist es eine wichtige Aufgabe der Lehrevaluation zu überprüfen, ob und wie gut diese Kompetenzvermittlung gelingt. Daher wurde ein Instrument zur Lehrevaluation entwickelt, das die Lernergebnisse und die Entwicklung verschiedener Facetten von Handlungskompetenz bei Studierenden in verschiedenen Lehrveranstaltungsformen erfasst. Kompetenzen als Ergebnis von Bildungsprozessen Bei der Überlegung, zu welchen Ergebnissen Bildungsprozesse führen sollen, nimmt der Begriff der Kompetenz eine zentrale Rolle ein. Kompetenzen umfassen eine Integration von Wissen, Fertigkeiten und Einstellungen, die zur Lösung von Problemen genutzt werden können (Baartman, Bastiaens, Kirschner & van der Vleuten, 2007). In diesem Sinne beschreibt Weinert (2002, S. 27f ) Kompetenzen als „die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können“. Kompetenzen können als Dispositionen angesehen werden, die einer Person ein selbstorganisiertes Handeln ermöglichen (Erpenbeck & von Rosenstiel, 2003). Kompetenzen als Bildungsziel werden nicht als situationsunabhängig, sondern als eine an eine Situation gebundene Anwendungsorientierung gesehen. Das Vorhandensein von Kompetenz wird an der Performanz in verschiedenen, neuartigen Anforderungssituationen sichtbar (Dewe & Sander, 1996). Kompetenzen als Dispositionen selbstorganisierten Handelns können danach klassifiziert werden, worauf sich das Handeln jeweils bezieht, auf andere Personen, auf die Person selbst oder auf eine sachlich-gegenständliche Umwelt (Erpenbeck & von Rosenstiel, 2003). Entsprechend eines solchen Systematisierungsansatzes lassen sich mehrere Kompetenzklassen unterscheiden, nämlich sozial-kommunikative (auf die Interaktion mit anderen Personen bezogene), personale (auf den Umgang mit der eigenen Person bezogene) und fachlich-methodische (auf den Umgang mit sachlich-gegenständlichen Aufgaben, Problemen bezogene) Kompetenzen. Letztere, die fachlich-methodische Kompetenz kann weiter differenziert werden in eine fachliche und eine methodische Kompetenz (Baethge et al., 2006; Kauffeld, Grote & Frieling, 2003; Sonntag & Schäfer- Rauser, 1993). Zu diesen Kompetenzen kommt eine Übergreifende hinzu, die aktivitäts- und umsetzungsorientierte Kompetenz. Sie bildet jedoch keine eigene Kompetenzklasse, sondern beschreibt vielmehr eine volitionale Komponente und das Vermögen, alle anderen Kompetenzen zu integrieren und in einer Anforderungssituation umzusetzen (Erpenbeck & von Rosenstiel, 2003; Weinert, 2001). Da die Bewältigung von Anforderungssituationen häufig Kompetenzen in mehreren der genannten Dimensionen erfordert, wird in der beruflichen Bildung von Handlungskompetenz als Leitziel gesprochen, um das Zusammenwirken der genannten Kompetenzklassen zum Ziel der Bewältigung von komplexen Anforderungen in beruflichen (oder auch privaten, gesellschaftlichen) Situationen zu beschreiben (Kauffeld, Frieling & Grote, 2002; Klieme, 2004; Wottreng, 2002). Dabei geht man davon aus, dass die Kompetenzklassen an inhaltsbezogenes Wissen und an inhaltsbezogene Problemlösestrategien geknüpft sind. In der Ausbildung versucht man daher, bestimmte Strategien wie z. B. Methoden des selbstgesteuerten Lernens an Inhalte geknüpft zu vermitteln. Im Rahmen einer akademischen Ausbildung wie einem Studium können unterschied- 130 Manuela Paechter et al. liche Facetten der genannten Kompetenzklassen vermittelt werden. Die sozial-kommunikative Kompetenz bezieht sich dabei auf die Interaktion mit anderen Personen und kommunikative und kooperative Fähigkeiten (Sonntag & Schmidt-Rathjens, 2005). Im Kontext akademischen Lernens betrifft sie Aspekte wie Teamfähigkeit, Übernehmen von Verantwortung in der Gruppe, Organisation des gemeinsamen Lernens und Arbeitens sowie Einhaltung von Zielvorgaben. Die personale Kompetenz umfasst im Kontext des akademischen Lernens die Fähigkeit, die eigenen Lern- und Arbeitsprozesse zu organisieren, geeignete Lernstrategien auszuwählen und anzuwenden sowie Lernfortschritte und Arbeitsergebnisse zu bewerten (Erpenbeck & von Rosenstiel, 2003). Die Fachkompetenz (oft auch als Sachkompetenz bezeichnet) umfasst deklaratives Wissen, d. h. spezielles Fachwissen wie Kenntnisse über Fakten, Konzepte, Theorien, Modelle oder Sachverhalte (Mader & Stöckl, 1999) sowie Wissen über Zusammenhänge und Prinzipien (Anderson & Krathwohl, 2001). Durch die Fachkompetenz wird es einer Person möglich, Fakten und Theorien miteinander zu vernetzen, zu verknüpfen oder voneinander zu unterscheiden. Unter Methodenkompetenz versteht man prozedurales Wissen im Hinblick auf das Erkennen von Anwendungsmöglichkeiten und die tatsächliche Anwendung des Gelernten sowie Fähigkeiten zur Problemlösung und Entscheidungsfindung in einem Sachgebiet. Sie enthält Wissen über Abläufe, Verknüpfungen, die Vernetzung von Inhalten und die Anwendung von Arbeitstechniken. Methodische Kompetenz befähigt z. B. zur Problemlösung und Umsetzung von Fachwissen in die Praxis oder zum kritischen Hinterfragen von Informationen (Peterßen, 2001; Preiser, 2003). Vermittlung und Erfassung von Kompetenzen in unterschiedlichen Lehrszenarien In verschiedenen Formen universitärer Lehrveranstaltungen können keineswegs alle Kompetenzklassen gleichermaßen erworben werden. In Abhängigkeit von der Veranstaltungsform und den einsetzbaren Lehr-Lernmethoden ist es in unterschiedlicher Weise möglich, die verschiedenen Kompetenzklassen zu fördern. Lehrendenzentrierte Szenarien wie Vorlesungen sind in den Lehrmethoden meist durch eine Orientierung auf die Lehrperson gekennzeichnet, sodass die Wissensvermittlung im Wesentlichen durch Methoden wie direkte Instruktion oder auch Modellierung und Demonstrationen (Preiser, 2003) erfolgt. Daher können in dieser Veranstaltungsform vorrangig Fach- und Methodenkompetenz vermittelt werden. In stärker interaktiven Veranstaltungsszenarien wie Seminaren oder Übungen spielen auch kooperative Lernprozesse, Gruppenarbeiten und -diskussionen oder selbstreguliertes Lernen eine wichtige Rolle. Daher kann in solchen Veranstaltungen neben dem Erwerb von Fach- und Methodenkompetenz der Erwerb von sozial-kommunikativer und personaler Kompetenz gefördert werden. Eine Besonderheit stellen Lehrveranstaltungen dar, die unter Einsatz Neuer Medien abgehalten werden und in denen auch Medienkompetenz gefördert wird. Die Medienkompetenz schließt an die vier genannten Kompetenzklassen an und umfasst neben Wissen um Medien und ihre Bedienung auch die Fähigkeit, Medien für die Ausübung der jeweiligen Kompetenzklassen zu nutzen, zu analysieren und kritisch zu bewerten (Baacke, 1996; Dewe & Sander, 1996). Insgesamt kann man von fünf Kompetenzformen ausgehen, die in universitärer Lehre vermittelt werden können, wobei man die Medienkompetenz gesondert als die Ausübung der anderen Kompetenzen mit Hilfe von Medien betrachten kann. Eine inhaltsanalytische Überprüfung bestehender Curricula an Universitäten bestätigte, dass der Erwerb der genannten Kompetenzen wesentliche Ausbildungsziele von Hochschulstudiengängen darstellt (vgl. Cladrowa, 2005). Kompetenzorientierung in der Lehrevaluation 131 Entwicklung eines Erhebungsinstruments zur Einschätzung des Kompetenzerwerbs in universitärer Lehre Konzept des Instruments und Abgrenzung zu bestehenden Instrumenten Es wurde ein Erhebungsinstrument zur Beurteilung von Lehrveranstaltungsqualität entwickelt, mit Hilfe dessen Veranstaltungsteilnehmer/ innen den eigenen Kompetenzerwerb einschätzen (GEKo, Grazer Evaluationsmodell des Kompetenzerwerbs; Paechter, Maier & Grabensberger, 2007; Paechter et al., 2007). Um didaktische Expertise aus verschiedenen wissenschaftlichen Disziplinen einzuholen und um die Akzeptanz des Instruments zu erhöhen, wurde die Konzept- und Itementwicklung von einer Gruppe von Lehrenden der Universität und von Expert/ inn/ en des Lehr- und Studienservices, das die Evaluation der Lehre organisiert, fachlich begleitet. Entsprechend dem zuvor beschriebenen Konzept der Handlungskompetenz erfasst das Instrument GEKo fünf Bereiche: fachliche und methodische Kompetenz, sozial-kommunikative, personale und Medienkompetenz. Als methodischer Zugang für die Itementwicklung wurden Selbsteinschätzungen des Kompetenzerwerbs durch die Studierenden gewählt. Für Selbsteinschätzungen spricht, dass die angesprochene Zielgruppe, Studierende, über ein hohes Maß an Lernerfahrungen verfügt und dass erwachsene Lernende selbst einschätzen können, wie gut sie bestimmte Lehr-Lernziele erreichen, sodass sie sozusagen „eine Kompetenzbeobachtung von innen“ ablegen (Erpenbeck & von Rosenstiel, 2003, S. XIX). Im Gegensatz zu anderen Kontexten, in denen Selbsteinschätzungen der Kompetenz erhoben werden (z. B. in Betrieben; Kauffeld, Frieling & Grote, 2002), spielen in Lehrveranstaltungen Verzerrungstendenzen eine geringere Rolle, da kritische Selbstbeurteilungen keine negativen Konsequenzen für die Person selbst nach sich ziehen. Instrumente, welche von den Teilnehmenden eine Einschätzung ihres Kompetenzerwerbs erfragen, haben gegenüber anderen Erhebungsmethoden wie z. B. fachspezifischen Leistungstests den Vorteil, dass sie für unterschiedliche Arten von Veranstaltungen einsetzbar sind und dass nicht für jede Veranstaltung mit einem spezifischen Lehrinhalt ein eigenes Erhebungsinstrument entwickelt werden muss. Neben den Items zur Einschätzung des Kompetenzerwerbs wurden Items aufgenommen, welche den Kompetenzerwerb beeinflussen können, z. B. Einstellungen und Verhaltensweisen von Lerner/ inne/ n wie Anstrengung, Interesse und die Nutzung metakognitiver Strategien, sowie Items, welche weitere Ergebnisvariablen eines Lehr-Lernprozesses darstellen, z. B. der Zuwachs an Interesse am Lerninhalt (vgl. zum Einfluss dieser Variablen Rindermann, 2001, 2003). Der Fokus von GEKo liegt jedoch auf dem Kompetenzerwerb und dessen Einschätzung durch die Teilnehmer/ innen einer Veranstaltung. Hierin unterscheidet sich das Instrument von anderen, welche auf die Gestaltung einer Lehrveranstaltung durch die Lehrperson fokussieren, z. B. das Instrument HILVE (HILVE erfasst jedoch teilweise auch Aspekte der fachlichen Kompetenz; Rindermann, 2001, 2003). Im Vergleich zu Instrumenten, welche ebenfalls auf den Erwerb von Kompetenzen fokussieren, unterscheidet sich GEKo in Bezug auf die Definition und die Anzahl der erfassten Kompetenzklassen. So werden im Vergleich zum Instrument BEvaKomp (Braun et al., 2008) die Medienkompetenz als eigener Bereich und als weiterer wesentlicher Bereich Kompetenzen im selbstgesteuerten Lernen und Arbeiten (personale Kompetenz) erhoben. Im Vergleich zum Instrument ULE (Lossnitzer & Schmidt, 2008) werden in GEKo die sozial-kommunikative und die Medienkompetenz berücksichtigt sowie alle weiteren Kompetenzbereiche detaillierter erhoben. ULE erfasst auch Aspekte wie Rahmenbedingungen einer Lehrveranstaltung oder die Gestaltung der Veranstaltung durch die Dozent/ inn/ en und fokussiert daher nicht so detailliert auf Kompetenzgewinne. Das Konzept des GEKo geht davon aus, dass verschiedene Veranstaltungsformen hinsichtlich der eingesetzten didaktischen Methoden und Lernzielvorgaben variieren und stellt für verschiedene Veranstaltungsformen unterschiedliche Fragebögen zur Verfügung (diesen Ansatz nutzt auch Staufenbiel (2000) für die Erhebung von Gestaltungsmerkmalen einer Lehrveranstaltung). Es werden diejenigen Kompetenzen erfragt, die unter typischen Rahmenbedingungen einer Veranstaltungsform und den einsetzbaren didaktischen Methoden (wie z. B. lehrendenzentrierte Methoden in der Vorlesung) gefördert werden können. So werden in interaktiven Lehrveranstaltungen wie Seminaren fachliche, methodische, sozial-kommunikative und personale Kompetenzen erfasst, in lehrendenzentrierten Veranstaltungsszena- 132 Manuela Paechter et al. rien dagegen nur die fachliche und methodische Kompetenz. In medienbasierten Lehrszenarien kommt die Medienkompetenz als Vermittlungsziel hinzu. GEKo wurde so konzipiert, dass es zwei eigenständige Fragebögen zur Verfügung stellt, einen für lehrendenzentrierte und einen für interaktive Lehrveranstaltungen. Letzterer kann mit einem Modul zur Erhebung der Medienkompetenz kombiniert werden. Zusammenfassend kann das Erhebungsinstrument dadurch charakterisiert werden, dass es vorrangig Kompetenzgewinne über Selbsteinschätzungen der Studierenden erfasst, dass jedoch weitere Einflussgrößen aufseiten der Lernenden und des Unterrichts berücksichtigt werden, und dass eine Differenzierung für verschiedene Lehrszenarien durch die Bereitstellung verschiedener Instrumente erfolgt. Entwicklung der Fragebögen: Itemgenerierung Im Folgenden werden die Entwicklung der Skalen zur Erfassung des Kompetenzerwerbs und die Abschätzung ihrer internen Güte beschrieben. Basis für die Itemgenerierung bildete eine qualitative Befragung von Lehrenden und Studierenden, welche Kenntnisse, Fertigkeiten und Fähigkeiten Lehrende in verschiedenen Lehrveranstaltungsszenarien vermitteln können, und parallel dazu, welche Kenntnisse, Fertigkeiten und Fähigkeiten Studierende erwerben möchten. Aufgrund der Kategorisierungen der Antworten wurden Items formuliert und den Kompetenzbereichen zugeordnet. Die Güte der Zuordnung wurde über Interraterreliabilitäten überprüft. Für die Beantwortung wurde eine sechsstufige Skala mit den Polen 1 = „trifft überhaupt nicht zu“ bis 6 = „trifft völlig zu“ verwendet, wobei nur die Pole benannt wurden (vgl. Auflistung der Items in Tabelle 1). Nach Vorgabe in mehreren Stichproben (n = 994, Lunger, 2006; Rinner, 2006; n = 1714, Korber, 2006) wurden Items ausgeschieden, deren Schwierigkeiten außerhalb des Bereichs von .20 ≤ p ≤ .80 lagen. Zudem wurden inhaltlich weniger gut geeignete Items entfernt. Aufgrund explorativer Faktorenanalysen in der Stichprobe interaktiver Lehrveranstaltungen wurden zudem Items mit hohen Ladungen auf mehreren Faktoren ausgeschieden. Die Ausgangsbasis für die Fragebogenentwicklung bildete eine Lösung aus 16 Items für interaktive Lehrveranstaltungen, von denen jeweils vier Items die Fach-, die Methoden-, die sozial-kommunikative und die personale Kompetenz erfassen. Dieser Fragebogen diente als Vorlage für die Entwicklung des Fragebogens für lehrendenzentrierte Lehrveranstaltungen. Für die Entwicklung des Moduls für medienbasierte Lehrveranstaltungen konnte auf ein bereits im Einsatz befindliches und auf seine Testgüte überprüftes Instrument zurückgegriffen werden (Paechter, Maier & Grabensberger, 2007; im vorliegenden Beitrag wird dieses Modul daher nicht vorgestellt). Entwicklung und Prüfung der Güte des Fragebogens für interaktive Lehrveranstaltungen Der Fragebogen wurde in 79 interaktiven Lehrveranstaltungen vorgegeben. Es wurden 1445 Studierende befragt, 974 Frauen (67.4 %) und 433 Männer (30.0 %) (38 Personen (2.6 %) ohne Angabe des Geschlechts). Das Alter der befragten Personen reichte von 18 bis 63 Jahren mit einem Durchschnitt von 23.82 Jahren. 447 Personen (30.9 %) studierten an der Rechtswissenschaftlichen, 370 (25.6 %) an der Geisteswissenschaftlichen, 358 (24.8 %) an der Naturwissenschaftlichen, 222 (15.4 %) an der Sozialwissenschaftlichen und 48 (3.3 %) an der Theologischen Fakultät. Die Prüfung der Itemschwierigkeiten ergab für alle Items zufriedenstellende Indizes (.20 ≤ p ≤ .80). Bei der Konsistenzanalyse ergaben sich auf der Ebene der Werte der Studierenden für alle vier Kompetenzbereiche zufriedenstellende Reliabilitäten mit Cronbach’s a zwischen .80 (Methodenkompetenz) und .88 (personale Kompetenz). Die Intraklassenkoeffizienten ICC 2 lagen mit Werten zwischen .777 und .887 in einem zufriedenstellenden Bereich (vgl. Tabelle 2). Die ICC 2 gibt an, in welchem Ausmaß die Urteile innerhalb einer Gruppe (Lehrveranstaltung) übereinstimmen (Bliese, 2000; Rindermann & Schofield, 2001) und kann damit als Reliabilitätsmaß herangezogen werden: Je größer die Übereinstimmung innerhalb der Gruppen (Lehrveranstaltungen), desto zuverlässiger misst der Test. Bevor die Struktur der Items in einer konfirmatorischen Faktorenanalyse überprüft wurde, wurden fehlende Werte mittels eines Multiple-Imputation- Ansatzes ersetzt (Rubin, 1996; Schafer, 1999) (insgesamt 3.45 % fehlende Werte im Datensatz). Gemäß dem Multiple-Imputation-Ansatz wurden zehn komplette Datensätze erstellt und für die weiteren Kompetenzorientierung in der Lehrevaluation 133 Analysen zu einem einzigen Datensatz verrechnet (verwendet wurde das Programm Amelia II (King, Honaker, Joseph & Scheve, 2001) der quelloffenen Statistikumgebung R (R Development Core Team, 2008)). Entsprechend der Empfehlungen von Thomas und Heck (2001) wurde im nächsten Schritt eine konfirmatorische Faktorenanalyse berechnet. Von einer Einbeziehung der Mehrebenenstruktur wurde abgesehen, da eine Einbeziehung bei Stichprobeninteraktiv lehrenden-zentriert M(Min) SD(Max) M(Min) SD(Max) Items zur Fachkompetenz Ich verfüge nun über ein breiteres Fachwissen. 4.38 (2.91) 0.54 (5.57) 4.03 (3.14) 0.52 (5.07) Ich kann einen guten Überblick über die Inhalte der LV geben. 4.53 (3.48) 0.49 (5.57) 4.02 (2.85) 0.59 (5.08) Ich habe gelernt, Zusammenhänge zwischen den Fächern herzustellen. 4.19 (3.08) 0.52 (5.36) 3.99 (3.32) 0.43 (5.08) Ich habe gelernt, komplexe Zusammenhänge innerhalb des Stoffgebiets zur erkennen. 4.27 (3.09) 0.54 (5.38) 3.95 (3.21) 0.54 (4.95) Mein Wissensstand ist jetzt wesentlich höher als zu Beginn des Semesters. 4.44 (3.20) 0.54 (5.48) Items zur Methodenkompetenz Ich kann aufgrund dieser LV die Qualität von Fachartikeln und Publikationen zum Thema besser beurteilen. 4.05 (2.62) 0.56 (5.75) 3.45 (2.41) 0.57 (4.72) Ich kann durch diese LV effektiver nach Fachinformation suchen. 4.20 (2.73) 0.74 (5.94) 3.42 (2.59) 0.58 (4.86) Ich kann mein erworbenes Wissen auf verschiedene Aufgabenstellungen anwenden. 4.39 (3.44) 0.48 (5.38) 3.96 (3.20) 0.45 (4.83) Ich habe meine Fähigkeiten im wissenschaftlichen Problemlösen verbessert. 4.03 (2.44) 0.58 (5.50) 3.59 (2.58) 0.55 (4.73) Items zur sozial-kommunikativen Kompetenz Ich habe in der LV meine Teamfähigkeit verbessert. 3.80 (2.47) 0.83 (5.90) Ich konnte mein Wissen und meine Fähigkeiten in die Gruppe einbringen. 4.19 (2.67) 0.72 (5.70) Ich konnte vom Wissen und den Fähigkeiten der anderen profitieren. 4.51 (2.97) 0.65 (5.69) Es fällt mir leichter, Verantwortung in der Gruppe zu übernehmen. 3.63 (2.18) 0.67 (5.00) Items zur personalen Kompetenz In der LV habe ich gelernt, meinen Lernfortschritt besser zu überprüfen. 3.43 (1.92) 0.65 (5.29) Ich habe gelernt, mir meine Zeit für das Lernen besser einzuteilen. 3.14 (1.67) 0.60 (4.50) Ich habe gelernt, den Arbeitsaufwand für Aufgaben besser abzuschätzen. 3.69 (2.00) 0.60 (4.86) Ich kann mir durch diese LV besser Ziele für das Lernen setzen. 3.33 (2.00) 0.59 (4.56) Tabelle 1: Deskriptive Statistik der Items zum Kompetenzerwerb in interaktiven und lehrendenzentrierten Lehrveranstaltungen 134 Manuela Paechter et al. umfängen unter 100 auf der Ebene der Gruppen (Lehrveranstaltungen) zu starken systematischen Fehlern führt. In der konfirmatorischen Faktorenanalyse wurde jedes Item jeweils einem der vier Kompetenzbereiche als latentem Konstrukt zugeordnet (vgl. Tabelle 1). Betrachtet man die deskriptiven Fit-Maße für das Modell, so verweisen die Werte von CFI = .972, RFI = .952 und RM- SEA = .050 auf eine gute Modellpassung: Hu und Bentler (1999) sprechen von einem gut passenden Modell bei einem CFI > .95 und bei einem RFI > .95 von einem hervorragenden Fit. Nach Schermelleh- Engel, Moosbrugger und Müller (2003) kann bei einem RMSEA ≤ .05 von einer guten Modellpassung ausgegangen werden. Der Likelihood-Ratio- Test zur Modellgeltung legt zwar nahe, dass das Modell nicht auf die Daten passt ( c 2 = 418.39; df = 90; p < .001), allerdings geht er von einer perfekten Modellpassung aus und ist abhängig von der Stichprobengröße, sodass bei großen Stichprobenumfängen wie im vorliegenden Datensatz signifikante Ergebnisse nahezu sicher werden (Jöreskog & Sörbom, 1993). Für die vorliegende Stichprobe von 1449 Personen wurden daher die deskriptiven Fit- Maße als Modellschätzungen verwendet. Sie belegen eine hohe Güte des Modells und verweisen darauf, dass die Kompetenzbereiche als latente Konstrukte gut durch die Items als Indikatorvariablen erklärt werden. Die Items zur sozial-kommunikativen und zur personalen Kompetenz laden mit Gewichten von .78 bis .87 auf dem jeweiligen Faktor. Die der Fachkompetenz zugeordneten Items laden mit .59 bis .83, die der Methodenkompetenz zugeordneten Items mit .64 bis .79 auf den jeweiligen Faktoren (vgl. Tabelle 2). Insgesamt liegen die Ladungen in einem zufriedenstellenden bis sehr zufriedenstellenden Bereich. Von den vier Faktoren korrelieren die Fach- und die Methodenkompetenz mit r = .796 miteinander. Niedrigere Werte finden sich für die Interkorrelationen aller anderen Faktoren (vgl. Tabelle 3). Art des Fragebogens Kompetenz N Items Cronbach’s a ICC 2 Faktorladungen in der konfirmatorischen Faktorenanalyse Item 1 2 3 4 5 Lehrendenzentrierte Lehrveranstaltungen FK MK 5 4 .848 .800 .953 .934 .73 .64 .73 .63 .62 .77 .73 .71 .69 Interaktive Lehrveranstaltungen FK MK SKK PK 4 4 4 4 .805 .803 .867 .884 .784 .802 .887 .777 .65 .66 .79 .78 .59 .64 .79 .79 .74 .79 .79 .78 .83 .76 .84 .87 Anmerkungen: FK Fachkompetenz, MK Methodenkompetenz, SKK sozial-kommunikative Kompetenz, PK personale Kompetenz Tabelle 2: Anzahl der Items, Cronbach’s a , ICC 2 und Faktorladungen in der konfirmatorischen Faktorenanalyse Lehrendenzentrierte Lehrveranstaltungen Interaktive Lehrveranstaltungen Fachkompetenz Methodenkompetenz Fachkompetenz Methodenkompetenz Sozialkommunikative Kompetenz Personale Kompetenz Fachkompetenz 1.000 1.000 Methodenkompetenz .946 1.000 .796 1.000 Sozialkommunikative Kompetenz nicht erfasst .440 .440 1.000 Personale Kompetenz nicht erfasst .485 .570 .486 1.000 Tabelle 3: Interkorrelationen der Faktoren für lehrendenzentrierte und interaktive Lehrveranstaltungen Kompetenzorientierung in der Lehrevaluation 135 Ein weiterer interessanter Aspekt ist, ob sich Unterschiede in den Lehrveranstaltungen überhaupt in den Itemantworten niederschlagen. Die Itemmittelwerte pro Lehrveranstaltung liegen für interaktive Lehrveranstaltungen im Bereich von 1.67 bis 5.94 und streuen mit Standardabweichungen zwischen 0.48 bis 0.83 (vgl. Tabelle 1). Da es sich bei den genannten Streuungen um die Streuungen von Lehrveranstaltungsmittelwerten der Einzelitems handelt, die auf einer Skala von 1 bis 6 beantwortet wurden, deuten diese Werte darauf hin, dass die Items bzw. die Studierenden durchaus zwischen den einzelnen Lehrveranstaltungen differenzieren. Entwicklung und Prüfung der Güte des Fragebogens für lehrendenzentrierte Lehrveranstaltungen Um Parallelität zu gewährleisten, wurden die acht Items zur Fachkompetenz und Methodenkompetenz aus dem Fragebogen für interaktive Lehrveranstaltungen genutzt und der Itempool um ein vorlesungsspezifisches Item (die Erweiterung des Wissensstandes) erweitert (vgl. Tabelle 1). Der Fragebogen mit den Items zur Fach- und Methodenkompetenz wurde in 27 lehrendenzentrierten Veranstaltungen untersucht. Es wurden 1352 Studierende befragt, 903 Frauen (66.8 %) und 409 Männer (30.3 %) (40 fehlende Angaben (3.0 %)). Das Alter der Studierenden reichte von 18 bis 48 Jahren mit einem Durchschnitt von 21.97. 581 (43.0 %) Personen studierten an der Naturwissenschaftlichen Fakultät, 360 (26.6 %) an der Rechtswissenschaftlichen Fakultät, 294 (21.7 %) an der Sozialwissenschaftlichen, 92 (6.8 %) an der Geisteswissenschaftlichen und 25 (1.8 %) an der Theologischen Fakultät. Die Prüfung der Itemschwierigkeiten ergab für alle Items zufriedenstellende Indizes. Bei der Konsistenzanalyse zeigten sich auf der Ebene der individuellen Werte sowohl für die Fachals auch für die Methodenkompetenz hohe Reliabilitäten mit Cronbach’s a von .80 (Methodenkompetenz) und .85 (Fachkompetenz). Die Intraklassenkoeffizienten ICC 2 lagen mit Werten zwischen .934 und .953 in einem sehr zufriedenstellenden Bereich (vgl. Tabelle 2). Für die konfirmatorische Faktorenanalyse wurden fehlende Werte (7.01 %) mittels eines Multiple- Imputation-Ansatzes ersetzt (Rubin, 1996; Schafer, 1999). In der konfirmatorischen Faktorenanalyse wurden fünf Items der Fachkompetenz und vier Items der Methodenkompetenz als latentem Konstrukt zugeordnet (vgl. Tabelle 1). Der Likelihood- Ratio-Test zur Modellgeltung legt wiederum nahe, dass das Modell nicht auf die Daten passt ( c 2 = 418.39; df = 90; p < .001). Die deskriptiven Fit-Maße für das Modell, CFI = .988, RFI = .975 und RMSEA = .047 sprechen allerdings für eine gute Modellpassung. Insgesamt verweisen die deskriptiven Fit-Maße auch beim Fragebogen für lehrendenzentrierte Lehrveranstaltungen darauf, dass die beiden Kompetenzbereiche als latente Konstrukte gut durch die Items als Indikatorvariablen erklärt werden. Die Items laden auf den jeweiligen Faktoren mit hohen Gewichten von .62 bis .77 (vgl. Tabelle 2). Zwischen den beiden Faktoren zeigt sich eine sehr hohe Korrelation von r = .946 (vgl. Tabelle 3). Wie zuvor stellt sich auch beim Fragebogen für lehrendenzentrierte Lehrveranstaltungen die Frage, ob sich Unterschiede in den Lehrveranstaltungen in den Itemantworten niederschlagen. Die Itemmittelwerte pro Lehrveranstaltung liegen für lehrendenzentrierte Lehrveranstaltungen im Bereich von 2.41 bis 5.48 und streuen mit Standardabweichungen zwischen 0.43 bis 0.59 (vgl. Tabelle 1). Da es sich bei den genannten Streuungen auch hier um die Streuungen von Lehrveranstaltungsmittelwerten der Einzelitems handelt, die auf einer Skala von 1 bis 6 beantwortet wurden, deuten diese Werte darauf hin, dass die Items bzw. die Studierenden durchaus zwischen den einzelnen Lehrveranstaltungen differenzieren. Diskussion Es wurde als eine wichtige Aufgabe der Lehrevaluation angesehen einzuschätzen, wie die Vermittlung von Kompetenzen in einer Veranstaltung gelingt. Zur Prüfung dieses Aspektes von Lehrqualität wurde der Ansatz der Selbsteinschätzung gewählt und es wurden Erhebungsinstrumente entwickelt, mittels derer Studierende beurteilen, welche Kompetenzen sie in einer Veranstaltung erworben haben, nämlich Fragebögen für stärker lehrendenzentrierte und stärker interaktive Lehrszenarien (sowie - als Modul zu kombinieren - für medienbasierte Lehrszenarien). Eine Abschätzung der Validität erfolgte über die Überprüfung der faktorenanalytischen Struktur. Die konfirmato- 136 Manuela Paechter et al. rische Faktorenanalyse zeigte für die zwei Fragebögen, dass die vorab angenommenen Strukturen sehr zufriedenstellend bestätigt werden konnten. Zusätzlich zur konfirmatorischen Faktorenanalyse wurden die Interkorrelationen der Skalen betrachtet. Dabei zeigt sich, dass im Fragebogen für interaktive Veranstaltungen die Skalen zur Fach- und Methodenkompetenz hohe Korrelationen zwischen den Faktoren aufweisen, während die Skalen zur sozial-kommunikativen und personalen Kompetenz untereinander und mit den vorab genannten Skalen weniger stark korrelieren. Die höheren Korrelationen zwischen Fach- und Methodenkompetenz können konzeptuell begründet werden und sprechen für die Validität des Erhebungsinstruments, da sie diejenigen Kompetenzbereiche betreffen, welche sich stark auf den Erwerb fachspezifischer Kompetenzen in der jeweiligen Wissensdomäne beziehen. Im Sinne einer kognitiv orientierten Lernzieltaxonomie beschreibt der Bereich der Fachkompetenz vorrangig Lernziele, die sich auf das Verstehen und Interpretieren von Sachverhalten beziehen, wohingegen der Bereich der Methodenkompetenz die Anwendung des Wissens auf vorhandene Problemstellungen und die kritische Analyse und Evaluation von Informationen thematisiert (Anderson & Krathwohl, 2001). Diese beiden Bereiche sind insofern miteinander verzahnt, als Lernziele zur Methodenkompetenz vom Vorhandensein entsprechender Fachkompetenz profitieren. Diese konzeptuelle Verknüpfung erklärt die hohe Korrelation auch im Fragebogen für lehrendenzentrierte Lehrveranstaltungen. Eine weitere Anforderung an ein Lehrevaluationsinstrument betrifft die Differenzierungsfähigkeit zwischen verschiedenen Veranstaltungen. Hier zeigen die deskriptiven Statistiken, dass sowohl das Erhebungsinstrument für interaktive, als auch das für lehrendenzentrierte Veranstaltungen gut zwischen verschiedenen Lehrveranstaltungen differenziert. Insgesamt verweisen die hier vorgestellten Analysen auf eine zufriedenstellende Validität der entwickelten Erhebungsinstrumente. Für den praktischen Einsatz des Instruments für die Lehrevaluation und die Interpretation der Lehrevaluationsergebnisse sind weiterführende Analysen geplant. Sie betreffen insbesondere die Abschätzung möglicher Bedingungsfaktoren für die Beurteilung einer Lehrveranstaltung wie die Anstrengung der Studierenden, den Besuchsgrund (Wahl-, Pflichtfach) oder die globale Beurteilung der didaktischen Vorgehensweise des/ der Lehrenden, die in den Instrumenten miterhoben werden. Insbesondere für die Interpretation der Ergebnisse ist es wichtig zu wissen, ob und in welchem Ausmaß solche Variablen die Beurteilung des Kompetenzerwerbs durch die Studierenden beeinflussen können. Welchen Nutzen können Lehrende und Studierende aus den Evaluationsergebnissen ziehen? Das Konzept betont die Lerner/ innen/ perspektive, indem es von Studierenden eine Selbsteinschätzung einfordert, und fördert die Reflektion des eigenen Lernverhaltens und der Wissensvermittlung in einer Lehrveranstaltung. Lehrende erhalten im Konzept des GEKo Information darüber, wie (nach Selbsteinschätzungen der Studierenden) die Vermittlung bestimmter Lernzielvorstellungen gelingt. Das Lehrevaluationskonzept geht davon aus, dass die Vermittlung bestimmter Lernziele auch entsprechender didaktischer Methoden bedarf, dass z. B. zur Vermittlung sozial-kommunikativer Kompetenzen Methoden des kooperativen Lernens eingesetzt werden können, dass der Erwerb methodischer Kompetenz z. B. im Lösen von Problemen von Lehr-Lern-Methoden wie Fallbeispielen profitiert. Den Kompetenzbereichen des Erhebungsinstruments können also Grundformen didaktischer Methoden zugeordnet werden und diese für die Gestaltung von Lehrveranstaltungen genutzt werden. Als Unterstützung für Lehrende wird gegenwärtig das Evaluationskonzept um ein Kompendium erweitert, das Lehrmethoden und deren Kompetenzziele beschreibt. So werden z. B. Methoden des kooperativen Lernens beschrieben, welche die sozial-kommunikative Kompetenz fördern. Damit wird der Bezug zwischen der Kompetenzorientierung in der Lehrevaluation 137 Unterrichtsgestaltung (über den Einsatz von unterschiedlichen Lehr-Lernmethoden) und entsprechenden Kompetenzzielen hergestellt und verdeutlicht. Im Hinblick auf die Lernzielvorstellungen könnte eingewendet werden, dass GEKo von festgelegten Zielvorstellungen ausgeht, die nicht unbedingt den Vorstellungen des/ der jeweiligen Lehrenden entsprechen müssen. Um diesen Aspekt zu berücksichtigen, wird die Befragung der Studierenden durch eine Befragung der Lehrenden ergänzt. Darin geben die Lehrenden an, wie wichtig ihnen bestimmte Kompetenzziele sind. Im Vergleich der Studierenden- und Lehrendenurteile können die Lehrenden dann einschätzen, inwiefern ihre Zielvorstellungen erreicht wurden. Zusammenfassend kann GEKo dadurch charakterisiert werden, dass zentrale Lernprozesse und deren Ergebnisse (Kompetenzgewinne) im Mittelpunkt der Lehrevaluation stehen, dass damit für Studierende die Reflektion der Regulierung des eigenen Lernens gefördert wird, und dass ein Konzept bereitgestellt wird, das die unterschiedlichen Rahmenbedingungen zur Förderung von Kompetenzen in verschiedenen Lehrveranstaltungstypen berücksichtigt. Literatur Anderson, L. W. & Krathwohl, D. R. (2001). A taxonomy for learning, teaching and assessing: a revision of Bloom’s taxonomy of educational objectives. New York: Longman. Baacke, D. (1996). Medienkompetenz - Begrifflichkeit und sozialer Wandel. In A. von Rein (Hrsg.), Medienkompetenz als Schlüsselbegriff (S. 112 - 124). Bad Heilbrunn: Klinkhardt. Baartman, L. K. J., Bastiaens, T. J., Kirschner, P. A. & van der Vleuten, C. P. M. (2007). Evaluation assessment qualitiy in competence-based education: A qualitative comparison of two frameworks. Educational Research Review, 2, 114 - 129. Baethge, M., Achtenhagen, F., Arends, L., Babic, E., Baethe-Kinsky, V. & Weber, S. (2006). Berufsbildungs- PISA Machbarkeitsstudie. Stuttgart: Franz Steiner Verlag. Bliese, P. D. (2000). Within-group agreement, non-independence, and reliability: Implications for data aggregation and Analysis. In K. J. Klein & S. W. Kozlowski (Eds.), Multilevel Theory, Research, and Methods in Organizations (p. 349 - 381). San Francisco, CA: Jossey- Bass, Inc. Braun, E., Gusy, B., Leidner, B. & Hannover, B. (2008). Kompetenzorientierte Lehrevaluation - Das Berliner Evaluationsinstrument für selbsteingeschätzte, studentische Kompetenzen (BEvaKomp). Diagnostica, 54 (1), 30 - 42. Cladrowa, C. (2005). Dienstleistungsqualität und kompetenzorientierte Lehrevaluation am Beispiel der Karl-Franzens-Universität Graz. Unveröffentlichte Magisterarbeit, Karl-Franzens-Universität Graz. Dewe, B. & Sander, U. (1996). Medienkompetenz und Erwachsenenbildung. In A. v. Rein (Hrsg.), Medienkompetenz als Schlüsselbegriff (S. 125 - 142). Bad Heilbrunn: Klinkhardt. Erpenbeck, J. & von Rosenstiel, L. (2003). Einführung. In J. Erpenbeck & L. von Rosenstiel (Hrsg.), Handbuch Kompetenzmessung. Erkennen, verstehen und bewerten von Kompetenzen in der betrieblichen, pädagogischen und psychologischen Praxis (S. IX - XL). Stuttgart: Schäffer-Poeschel Verlag. HRK, Hochschulrektorenkonferenz (2004). Bologna-Reader. Texte und Hilfestellungen zur Umsetzung der Ziele des Bologna-Prozesses an deutschen Hochschulen. Verfügbar unter http: / / www.hrk.de/ bologna/ de/ Bologna_ Reader_gesamt.pdf Hu, L. T. & Bentler, P. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6, 1 - 55. Jöreskog, K. & Sörbom, D. (1993). Structural equation modeling with the SIMPLIS command language. Chicago: Scientific Software. Kauffeld, S., Frieling, E. & Grote, S. (2002). Soziale, personale, methodische oder fachliche: Welche Kompetenzen zählen bei der Bewältigung von Optimierungsaufgaben in betrieblichen Gruppen? Zeitschrift für Psychologie, 210, 197 - 208. Kauffeld, S., Grote, S. & Frieling, E. (2003). Das Kasseler- Kompetenz-Raster (KKR). In J. Erpenbeck & L. von Rosenstiel (Hrsg.), Handbuch Kompetenzmessung. Erkennen, verstehen und bewerten von Kompetenzen in der betrieblichen, pädagogischen und psychologischen Praxis (S. 261 - 282). Stuttgart: Schäffer-Poeschel Verlag. King, G., Honaker, J., Joseph, A. & Scheve, K. (2001). Analyzing Incomplete Political Science Data: An Alternative Algorithm for Multiple Imputation. American Political Science Review, 95 (1), 49 - 69. Klieme, E. (2004). Was sind Kompetenzen und wie lassen sie sich messen? Pädagogik, 6, 10 - 13. Korber, S. (2006). Testgüte eines kompetenzbasierten Instruments zur Erfassung von Lehrqualität. Unveröffentlichte Diplomarbeit, Karl-Franzens-Universität Graz. Lossnitzer, T. & Schmidt, B. (2008). Course evaluations: New quality aspects in a questionnaire and three approaches for developing teaching skills. International Journal of Psychology, 43, 751. Lunger, S. (2006). Entwicklung und empirische Prüfung eines Lehrevaluationsinstruments zur Erfassung der Fachkompetenz und Methodenkompetenz. Unveröffentlichte Diplomarbeit, Karl-Franzens-Universität Graz. Mader, G. & Stöckl, W. (1999). Virtuelles Lernen. Begriffsbestimmung und aktuelle empirische Befunde (Lernen mit interaktiven Medien Nr. 5). Innsbruck, Wien: Studien-Verlag. Paechter, M., Maier, B. & Grabensberger, E. (2007). Evaluation medienbasierter Lehre mittels der Einschätzung des Kompetenzerwerbs: Entwicklung eines Erhebungsinstruments. Zeitschrift für Medienpsychologie, 19, 68 - 75. 138 Manuela Paechter et al. Paechter, M., Sindler, A., Maier, B., Dorfer, A., Salmhofer, G. & Sindler, A. (2007). Kompetenzen als Qualitätskriterien für universitäre Lehre: Das Grazer Evaluationsmodell des Kompetenzerwerbs (GEKo). In A. Kluge & K. Schüler (Hrsg.), Qualitätssicherung und -entwicklung in der Hochschule: Methoden und Ergebnisse (S. 83 - 93). Lengerich: Pabst. Peterßen, W. H. (2001). Kleines Methoden-Lexikon. München: Oldenbourg. Preiser, S. (2003). Pädagogische Psychologie. Psychologische Grundlagen von Erziehung und Unterricht. Weinheim: Juventa. R Development Core Team. (2008). R: A Language and Environment for Statistical Computing. Wien: R Foundation for Statistical Computing. Rindermann, H. (2001). Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerbasierten Unterrichts. Landau: Empirische Pädagogik. Rindermann, H. (2003). Lehrevaluation an Hochschulen: Schlussfolgerungen aus Forschung und Anwendung für Hochschulunterricht und seine Evaluation. Zeitschrift für Evaluation, 3 (2), 233 - 256. Rindermann, H. & Schofield, N. (2001). Generalizability of multidimensional student ratings of university instruction across courses and teachers. Research in Higher Education, 42 (4), 377 - 399. Rinner, A. (2006). Entwicklung und Überprüfung eines Lehrevaluationsinstruments zur Erfassung der sozialen und personalen Kompetenz in universitären Lehrveranstaltungen. Unveröffentlichte Diplomarbeit, Karl-Franzens-Universität Graz. Rubin, D. (1996). Multiple Imputation After 18+Years. Journal of the American Statistical Association, 91, 473 - 489. Schafer, J. (1999). Multiple Imputation: A Primer. Statistical Methods in Medical Research, 8, 3 15. Schermelleh-Engel, K., Moosbrugger, H., & Müller, H. (2003). Evaluating the fit of structural equation models: Test of significance and descriptive goodness-offit measures. Methods of Psychological Research - Online, 8, 23 - 74. http: / / www.mpr-online.de/ . Sellin, B. (2005). Europäischer Qualifikationsrahmen (EQF). Ein gemeinsames Bezugssystem für Bildung und Lernen in Europa. bwp@ Berufs- und Wirtschaftspädagogik, 8, 1 - 18. Zugriff am 24. 2. 2008 unter http: / / www.bwpat.de/ ausgabe8/ sellin_bwpat8.pdf Sonntag, K. & Schäfer-Rauser, U. (1993). Selbsteinschätzung beruflicher Kompetenzen bei der Evaluation von Bildungsmaßnahmen. Zeitschrift für Arbeits- und Organisationspsychologie, 37, 163 - 171. Sonntag, K. & Schmidt-Rathjens, C. (2005). Anforderungsanalyse und Kompetenzmodelle. In Ph. Gonon, F. Klauser, R. Nickolaus & R. Huisinga (Hrsg.), Kompetenz, Kognition und neue Konzepte der beruflichen Bildung (S. 55 - 66). Wiesbaden: VS Verlag für Sozialwissenschaften. Staufenbiel, T. (2000). Fragebogen zur Evaluation von universitären Lehrveranstaltungen durch Studierende und Lehrende, Diagnostica, 46, 169 - 181. Thomas, S. & Heck, R. (2001). Analysis of large-scale secondary data in higher education research: Potential perils associated with complex sampling designs. Research in Higher Education, 42, 517 - 540. Weinert, F. E. (2001). Concept of Competence: A Conceptual Clarification. In D. S. Rychen & L. H. Salganik (Eds.), Defining and selecting key competencies (p. 45 - 65). Göttingen: Hogrefe & Huber. Weinert, F. E. (2002). Vergleichende Leistungsmessung in Schulen. In F. E. Weinert (Hrsg.), Leistungsmessungen in der Schule (S. 17 - 31). Weinheim: Beltz Wottreng, St. (2002). Handbuch Handlungskompetenz. Einführung in die Selbst-, Sozial- und Methodenkompetenz. Aarau: Bildung Sauerländer. Univ.-Prof. Dr. Manuela Paechter Mag. rer. nat. Brigitte Skliris Mag. rer. nat. Daniel Macher Karl-Franzens-Universität Graz Universitätsplatz 2/ III A-8010 Graz Österreich E-Mail: manuela.paechter@uni-graz.at Fax: 00 43 (0) 3 16 / 3 80 - 98 05