Qualitätssicherung von E-Prüfungen und deren Items

An der Stiftung Tierärztliche Hochschule Hannover (TiHo) werden seit 2008 elektronische Prüfungen durchgeführt. Im Jahr 2017 fand ein Wechsel der Prüfungsmanagementplattform sowie eine schrittweise Umstellung der E-Prüfungen statt. Dadurch konnten weitere Maßnahmen zur Qualitätssicherung implementiert werden, darunter die Einbindung von Blueprints und Reviewprozessen in die Prüfungsmanagementplattform, welche den Empfehlungen von Jünger und Just (2014)¹ folgen.

Anhand einer retrospektiven, systematischen Analyse der elektronisch durchgeführten, summativen Multiple-Choice-Prüfungen, welche eine übergreifende Itemanalyse inkludiert, wird der Einfluss von Qualitätssicherungsmaßnahmen untersucht. Übergeordnetes Ziel ist es, die Reliabilität der Prüfungen konstant zu sichern bzw. zu erhöhen. Weitere Ziele sind darüber hinaus mögliche Schwachstellen aufzudecken, Prozesse und Prüfungen zu optimieren und weiterzuentwickeln und den Prüfer*innen Handlungsempfehlungen an die Hand zu geben. Im Fokus stehen die verschiedenen Itemtypen mit ihren Kennwerten, die Cronbachs-Alpha-Werte der Prüfungen und deren Einflussgrößen.

Zur Interpretation der Ergebnisse werden u. a. die Empfehlungen von Möltner et al.
(2006) sowie Krebs (2019) herangezogen, um die Cronbachs-Alpha-Werte sowie Kennwerte wie Itemschwierigkeit und Itemtrennschärfe zu bewerten.

Zuerst wurden Einflussfaktoren definiert, die näher betrachtet werden sollten, wie:
▪ Cronbachs-Alpha-Werte der Prüfungen
▪ Itemtypen
▪ Itemschwierigkeit
▪ Itemtrennschärfe
▪ Anteil Altfragen
▪ Anzahl Items pro Prüfung

Im Anschluss wurden 22 der seit 2017 durchgeführten Prüfungen mit insgesamt 1469
Items zur initialen Auswertung herangezogen. Die analysierten Items setzen sich aus fünf möglichen Fragenformaten zusammen: Einfachauswahl aus drei bis fünf Wahlantworten nach dem „Single Best Answer“-Verfahren, KPRIM, Key-Feature, Bilddiagnose und Bildzuordnung. Erste Ergebnisse zeigen, dass die verwendeten Itemtypen eine unterschiedliche Schwierigkeit aufweisen und bestätigen, dass die Anzahl der Prüfungsfragen einen erheblichen Einfluss auf die Cronbachs-Alpha-Werte der jeweiligen Prüfungen hat. Der Itemtyp „KPRIM“ stellt sich dabei aktuell als das schwierigste Format dar, während die Einfachauswahl mit vier Antwortoptionen eine gute Trennschärfe aufweist. Nach Abschluss der vollständigen Analyse werden die einzelnen Einflussfaktoren bewertet und nach Relevanz eingestuft.

Die Untersuchung bestätigt, dass strukturierte Post-Review-Prozesse wichtig sind, um
eine hohe Reliabilität von Prüfungen zu gewährleisten und um auffällige Items zu elimi-
nieren. Als Konsequenz der Untersuchungen werden Checklisten für Post-Review-Prozesse angestrebt, die zum einen als Handreichung für die Prüfer*innen eine schnelle Bewertung der statistischen Werte erlauben, zum anderen der E-Assessment-Beratung als Leitfaden dienen, um Prüfungsprozesse optimal begleiten zu können.

Quellen:
[1] Jünger, J., Just, I. (2014). Empfehlungen der Gesellschaft für Medizinische Ausbil-
dung und des Medizinischen Fakultätentags für fakultätsinterne Leistungsnach-
weise während des Studiums der Human-, Zahn- und Tiermedizin. GMS Z Med Aus-
bild. 31(3):Doc34. S. 5 f.
[2] Möltner, A., Schellberg, D., Jünger, J. (2006). Grundlegende quantitative Analysen
medizinischer Prüfungen. GMS Z Med Ausbild. 23(3):Doc53, S.8
[3] Krebs, R. (2019). Prüfen mit Multiple Choice. Bern: Hogrefe