Artikel
Quantitative Analyse von Prüfereffekten bei OSCEs
Suche in Medline nach
Autoren
Veröffentlicht: | 24. November 2017 |
---|
Gliederung
Text
Hintergrund: Es ist zu erwarten, dass zur Prüfung praktischer und kommunikativer Fertigkeiten zukünftig OSCEs Teil des Staatsexamens der Humanmedizin werden. Im Entwurf der zahnärztlichen AppO sind ebenfalls Prüfungen an standardisierten Situationen vorgesehen. Um eine hohe Objektivität und Reliabilität dieses Prüfungsformats zu garantieren, ist eine strukturierte Vorbereitung der Prüfer erforderlich, in denen – etwa an Standardstationen – eine Kontrolle von Prüfereinflüssen auf die Bewertung erfolgt.
Um dies zu standardisieren, ist eine quantitative Analyse der Prüfereffekte erforderlich. Hierzu gibt es jedoch keine einheitliche Vorgehensweise. Verfahren wie die der Generalisierbarkeitstheorie erlauben z.B. eine Modellierung von Mittelwertunterschieden bei der Bewertung (unterschiedlich strenge Prüfer), nicht aber die der bekannten Unterschiede in der Nutzung des Skalenumfangs oder der Trennschärfe.
Ziel der Studie war die Etablierung eines Auswertungsverfahrens, welches die verschiedenen Prüfereffekte quantitativ erfassen kann und damit geeignet ist, auffälliges Prüferverhalten zu identifizieren.
Methoden: OSCE-Prüfungen der Medizinischen Fakultät Heidelberg wurden mittels eines nichtlinearen gemischten Modells, das neben Unterschieden der „Strenge“ der Prüfer auch solche der Skalennutzung und der Trennschärfe erfasst, analysiert.
Ergebnisse: Die verwendete Analyse erlaubt die Identifikation von Prüfern, die sich hinsichtlich der Strenge und Skalennutzung von anderen unterscheiden, Unterschiede in der Trennschärfe sind mit den üblicherweise bei OSCEs zur Verfügung stehenden Datenmengen nicht stabil zu identifizieren.
Diskussion: Das verwendete Verfahren ist zur Identifikation auffälligen Prüfungsverhaltens geeignet. Für die mögliche Nutzung in zukünftigen Staatsexamina sollten bei der Vorbereitung der Prüfer Probedurchläufe mit standardisierten Prüfungskandidaten eingesetzt werden, auffällige Prüfer könnten einer Nachschulung unterzogen oder als Prüfer ausgeschlossen werden.
Literatur
- 1.
- Fuller R, Homer M, Pell G, Hallam J. Managing extremes of assessor judgment within the OSCE. Med Teach. 2017;39(1):58-66. DOI: 10.1080/0142159X.2016.1230189
- 2.
- Möltner A, Schultz JH, Jünger J. Rater effects in OSCEs: Differences in location, dispersion and distinctiveness and their consequences for reliability. AMEE Conference, Lyon, 27-29.08.2012. Lyon: AMEE; 2012.
- 3.
- Royal KD, Hecker KG. Rater errors in clinical performance assessments. J Vet Med Educ. 2016;43(1):5-8. DOI: 10.3138/jvme.0715-112R