Untersuchung der elektronischen objektiv-strukturierten klinischen Prüfungen (eOSCEs) im Clinical Skills Lab der Stiftung Tierärztliche Hochschule Hannover
Im Clinical Skills Lab (CSL) der Stiftung Tierärztliche Hochschule Hannover (TiHo) wurden ab 2014, im Rahmen einer Lehrintervention (Skills-Lab-Training) für Studierende im praktischen Jahr der verschiedenen Tierartenkliniken, OSCEs (objective structured clinical examination) implementiert. Seit 2018 führt die TiHo die OSCE-Prüfung als erste tiermedizinische Ausbildungsstätte in Deutschland in elektronischer Form als eOSCE-Prüfung (electronic objective structured clinical examination) durch. Im Rahmen dieser Arbeit sollten vier Untersuchungen durchgeführt werden. Zum einen erfolgte eine Untersuchung zur Zufriedenheit und zum Nutzen des Prüfungsformats eOSCE im Rahmen des praktischen Jahres für Studierende des praktischen Jahres (PJ), sowie eine Evaluation im Hinblick auf die Akzeptanz eines eOSCEs als mögliches summatives Prüfungsformat im Rahmen einer Staatsexamensprüfung. In der zweiten Untersuchung wurden Prüfer/-innen, Prüfungsinitiatorinnen und -initiatoren sowie am Reviewprozess beteiligte Mitarbeiter/-innen der jeweiligen Kliniken hinsichtlich ihrer Zufriedenheit und Meinung zum Nutzen des eOSCEs befragt. Außerdem wurden der nicht elektronisch durchgeführte OSCE und der eOSCEs miteinander verglichen. Als drittes Teilprojekt wurden in der Arbeit im Rahmen der Qualitätssicherung statistische Kennwerte der eOSCEs und deren Items erfasst mit dem Ziel, die Prüfungen und eOSCE-Checklisten zu bewerten und mögliche Defizite im Bereich der eOSCEs, der Lehre und bei den praktischen Fertigkeiten der Studierenden aufzudecken. In der letzten Untersuchung wurde die Entwicklung der Selbsteinschätzung der Studierenden im Verlauf des Skills-Lab-Trainings erhoben und diese anschließend mit ihren tatsächlichen Fertigkeiten im eOSCE verglichen. Für die Evaluation der Studierenden zur Zufriedenheit mit dem eOSCE konnten 175 vollständige Fragebögen ausgewertet werden. Die Evaluation zur Zufriedenheit der Prüfer/-innen mit dem eOSCE lieferte 27 auswertbare Fragebögen. Es wurden 15 eOSCEs von 4 Kliniken und 170 dazugehörige Datensätze aus den eOSCE-Checklisten für die Itemanalyse ausgewertet. Die Untersuchung zur Entwicklung der Selbstwirksamkeit lieferte zum Messzeitpunkt vor dem Skills-Lab-Training 175 vollständige Fragebögen, nach dem Training 172 vollständige Fragebögen und nach dem eOSCE 170 vollständige Fragebögen. Die erste Studie verdeutlicht, dass die Studierenden die eOSCE-Prüfung als Feedback-Instrument gut annehmen, sie aber im Hinblick auf die Anwendung der eOSCE-Prüfung als summatives Prüfungsformat im Staatsexamen geteilter Meinung sind. Die Prüfer/-innen zeigten sich ebenfalls grundsätzlich zufrieden mit dem Prüfungsformat. Es wurden in dieser Studie allerdings Probleme im Bereich der technischen Umsetzung der eOSCE-Prüfung am Prüfungstag und während der Prüfungsvorbereitung offengelegt, die zukünftig verbessert werden müssen. Die Ermittlung der Prüfungsqualität ergab, dass der gewünschte Cronbachs-alpha-Wert von 0,8 bei den durchgeführten eOSCE-Prüfungen nicht erreicht wird. Mit Blick auf ein mögliches zukünftiges summatives eOSCE-Prüfungsformat sollte daher eine Erhöhung der Prüfungsstationenanzahl bei eOSCE-Prüfungen anvisiert werden. Die Auswertung der Checklisten der Stationen zur Überprüfung der Basisfertigkeiten ergab eine geringe Schwierigkeit, ein Hinweis, dass Studierende diese Basisfertigkeiten sicher beherrschen. Die in der letzten Studie ermittelte Selbstwirksamkeit der Studierenden war vor dem Skills-Lab-Training erwartungsgemäß niedrig und stieg nach dem Training an. Auch nach der eOSCE-Prüfung konnte bei allen Studierenden, mit Ausnahme der Studierenden der Klinik für Pferde, eine Zunahme der Selbstwirksamkeit nachgewiesen werden. Beim Vergleich der Selbsteinschätzung mit der objektiven Leistung fiel auf, dass diese nur teilweise miteinander übereinstimmten; diese Erkenntnisse können genutzt werden, um klinikspezifische Schwerpunkte im praktischen Training zu setzen.
In the Clinical Skills Lab (CSL) of the University of Veterinary Medicine Hannover Foundation (TiHo), OSCEs (objective structured clinical examination) were implemented from 2014 as part of a teaching intervention (skills lab training) for students in the practical year of the various animal species clinics. Since 2018, TiHo has been the first veterinary training institution in Germany to conduct the OSCE in an electronic form as an eOSCE (electronic objective structured clinical examination). In the current thesis, four studies have been carried out. An investigation was performed to analyze satisfaction and benefits regarding the eOSCE format as part of feedback in the training of clinical-practical skills for students of the practical year (PJ). Furthermore, an evaluation about the acceptance of an eOSCE as a potential summative examination format in the context of a state examination was performed. In the second study, examiners, test initiators and employees of the respective clinics involved in the review process of the items were asked about their satisfaction and opinion on the benefits of the eOSCE. In addition, the non-electronic OSCE and the eOSCEs were compared. As a third subproject, statistical parameters of the eOSCEs and their items were recorded within the framework of quality assurance and with the aim of evaluating the examinations and eOSCE checklists to detect possible deficits in the field of eOSCEs, teaching and practical competences of students. In the last study, the development of the students' self-appraisal in the course of the skills lab training was collected and compared with their competences and skills in the eOSCE. For the evaluation of the students' satisfaction with the eOSCE, 175 data sets could be evaluated. The evaluation of the satisfaction of the examiners with the eOSCE provided 27 evaluable data sets. Fifteen eOSCEs from 4 clinics and 170 associated data sets were evaluated for item analysis. The study on the development of self-efficacy provided 175 evaluable data sets at the time of measurement before the skills lab training, 172 data sets after the training and 170 evaluable data sets after the eOSCE. The first study shows that students accept the eOSCE well as feedback tool, but have diverging opinions regarding the use of the eOSCE as a summative examination format in the state examination. The examiners were also generally satisfied with the examination format. However, this study revealed problems during the technical implementation of the eOSCE on the day of the exam and during exam preparation, which needs to be improved in the future. The evaluation of the test quality revealed that the desired Cronbachs-alpha value of 0.8 is not achieved for eOSCEs. For the implementation of the eOSCE format for summative examinations, the number of examination stations for eOSCEs should be elevated. The difficulty of the checklists of the stations for checking basic skills was not high enough for summative assessment, but is an indication that students are confident in the tested basic skills. This formative exam is a useful feedback instrument. As expected, the students' self-efficacy as measured in the last study was low before the skills lab training and increased after the training. Even after the eOSCE, an increase in self-efficacy could be demonstrated in all students, with the exception of the students of the Clinic for Horses. Self-assessment and objective performance were only partially consistent; these findings can be used to set clinic-specific priorities in practical training.
Preview
Cite
Access Statistic
Rights
Use and reproduction:
