15 Jahre elektronische Prüfungen an der TiHo : Status Quo und was wir aus den Daten lernen können

Einleitung

An der Stiftung Tierärztliche Hochschule Hannover (TiHo) werden seit 2008 elektronische Prüfungen durchgeführt und die Prüfungsfragen (Items) im Rahmen des Qualitätsmanagements bei jeder Prüfung evaluiert. Die gewonnenen Daten werden dazu verwendet, die Qualität der Prüfungen und Items zu verbessern, geeignete Indikatoren zur Beurteilung der Prüfungen zu identifizieren und Empfehlungen zum Prüfungs- und Itemdesign abzuleiten.

Material und Methoden

Zur Auswertung wurden alle elektronisch durchgeführten Prüfungen des Studiengangs Veterinärmedizin an der TiHo aus den Jahren 2008 bis Mitte 2022 mit jeweils über 100 Teilnehmenden ausgewählt. Dadurch stehen 294 Datensätze/Einzelprüfungen in Form von Rohdaten zur statistischen Itemanalyse von 31 jährlich durchgeführten Prüfungen aus insgesamt 28 Fachbereichen mit durchschnittlich 248 Teilnehmenden zur Verfügung.

Ergebnis

Qualitätssicherungsmaßnahmen wie Blueprinterstellung, sowie ein ausführlicher Pre- und Postreview von Prüfungsfragen tragen, wie in der Literatur empfohlen^1, 2, 3, zur Gewährleistung der Qualität von Prüfungen bei. Die Anzahl von Items pro Prüfung, mit der ein ausreichend guter Cronbachs-Alpha-Wert als Maß für die Reliabilität sicher erreicht oder überschritten wird, konnte identifiziert werden. Eine erste Auswertung der Logdaten zeigt, dass für bestimmte MCQ-Items auch 60 Sekunden Bearbeitungszeit pro Item statt den bisher verwendeten 90 Sekunden ausreichend wären, wodurch eine höhere Anzahl an Items innerhalb des gleichen Zeitraums bereitgestellt werden könnten, um eine angemessene Reliabilität zu sichern. Weiterhin sollten Itemformate wie Bildzuordnung und Bilddiagnose häufiger zum Einsatz kommen, da diese tendenziell gute Kennwerte aufweisen. Der Anteil an Altfragen sollte möglichst geringgehalten werden, da deren Verwendung zu einem negativen Einfluss auf die Gütekriterien führt. Als geeignete Indikatoren zur Evaluierung der Prüfungen im Praxisalltag wurden die Verteilung der Prüfungsergebnisse, Cronbachs-Alpha-Wert, Itemanalyse-Statistiken sowie Distraktorenanalyse identifiziert.

Fazit

Ein gut organisierter Prüfungsprozess mit adäquaten Qualitätssicherungsmaßnahmen wie Autor*innenschulungen, Blueprints und einem mehrstufigen Reviewprozess, eine durchdachte Item(format)auswahl sowie eine gute Kommunikation mit den Prüfungsverantwortlichen ist Voraussetzung für qualitativ hochwertige Prüfungen.

Literaturverzeichnis
1.Jünger J, Just I. Recommendations of the German Society for Medical Education and the German Association of Medical Faculties regarding university-specific assessments during the study of human, dental and veterinary medicine. GMS Z Med Ausbild. 2014;31(3):1-23.

2.Kibble JD. Best practices in summative assessment. Adv Physiol Educ. 2017;41(1):110-119.

3.Schurter T, Escher M, Gachoud D, Bednarski P, Hug B, Kropf R, et al. Essential steps in the development, implementation, evaluation and quality assurance of the written part of the Swiss federal licensing examination for human medicine. GMS J Med Educ. 2022;39(4):Doc43.