gms | German Medical Science

Fragestellung/Zielsetzung: Eine objektive Überprüfung von Lehrinterventionen erfordert letztendlich den Einsatz summativer curricularer Prüfungen, in denen ein Vergleich von Interventions- und Kontrollgruppen erfolgt. Bei der Planung solcher Vergleiche ist eine Fallzahlbestimmung notwendig, um zu gewährleisten, dass für die statistische Testung hinreichend große Stichproben in die Untersuchung einbezogen werden [1]. Notwendig dafür ist eine Festlegung des α-Fehlers, der Power des Tests, der erwarteten Verbesserung der Interventions- gegenüber der Kontrollgruppe sowie der Standardabweichungen innerhalb der Gruppen. Für die Abschätzung der letzteren liegen jedoch meist keine spezifischen Voruntersuchungen vor, Stattdessen können jedoch die Standardabweichungen der ohnehin an einer Fakultät durchgeführten curricularen Prüfungen als Anhaltspunkt verwendet werden.

Methoden: Untersucht wurden die summativen Prüfungen der medizinischen Fakultät Heidelberg des ersten und zweiten Abschnitts des Studiums der Wintersemester 2019/20 bis 2022/23, für die Daten zu Umfang, Ergebnis und internen Konsistenz (Cronbachs α) vorliegen (n=463). Die Standardabweichungen der Prüfungsergebnisse wurden als Spline-Regressionen der Schwierigkeiten der Prüfung (mittlere relative erreichte Punktzahl) und der Aufgabenzahl modelliert [3]. Um eine Abschätzung für der Bandbreite der Standardabweichungen zu gewinnen, wurden Quantilsregressionen durchgeführt [2].

Die empirischen Ergebnisse wurden mit den theoretischen Abschätzungen, welche sich durch den Zusammenhang der Varianz der erreichten Gesamtpunktzahlen mit Prüfungsumfang, Varianzen der Einzelitems und der internen Konsistenz ergeben, gegenübergestellt.

Ergebnisse: Durch die Modellgleichung lässt die Standardabweichung sehr gut aus Aufgabenzahl und Schwierigkeit vorhersagen (R²=0.88). Deutliche Abweichungen sind vor allem auf Prüfungen zurückzuführen, in denen nicht-homogene Prüfungsinhalte abgefragt werden.

Für sehr schwere Klausuren (P=0.65) mit 20 Items ist die mittlere Standardabweichung 3.13 Punkte (10%-Perzentil 1.93, 90%-Perzentil 4.28), bei 60 Items 6.24 (4.59/7.94). Die entsprechenden Werte leichter Klausuren (P=0.85) sind 1.82 (1.19/2.43) bzw. 4.92 (3.86/6.09) (siehe Abbildung 1 [Abb. 1]).

Diskussion: Die Ergebnisse liefern ein solide Basis für Abschätzungen für die zu erwartenden Standardabweichungen in curricularen Prüfungen und damit auch für die Vergleiche vor gegenüber nach Lehrinterventionen oder für den Vergleich von Kontroll- und Interventionsbedingungen. Unter der Annahme eines mittleren Effekts einer Lehrintervention (Cohens d=0.5) entspräche dies bei schweren Klausuren mit 20 Items (P=0.65) einer Punktedifferenz von1.57 Punkten, bei leichten (P=0.85) von 0.91 Punkten. Die entsprechenden Differenzen für Klausuren mit 60 Aufgaben sind 3.12 bzw. 2.46 Punkte.

Take Home Message: Die bei der Untersuchung des Erfolgs von Lehrinterventionen erforderliche Abschätzung der Standardabweichungen der in curricularen Prüfungen erreichten Punkte zur Fallzahlbestimmung ist allein aus Aufgabenzahl und mittlerer erwarteter Schwierigkeit möglich.