Moderation: Uwe Schmidt (ZQ)
Robert Kordts-Freudinger, Eva Geithner (Universität Paderborn): Papier? Online? Egal! – Evaluation während versus nach der Veranstaltung
Der Beitrag behandelt die Frage, ob Online-Evaluationen zu anderen Ergebnissen führen als Papier-Evaluationen. Basierend auf teils widersprüchlichen empirischen Befunden und Kirkpatricks Modell der4 Ebenen, vermuteten wir, dass nicht das Evaluationsmedium (Papier vs. Online) die Ergebnisse beeinflusst, sondern die Situation, in der die Evaluation durchgeführt wird: nach der Veranstaltung sollte zu negativerer Bewertung führen als während dessen. Wir analysierten Evaluationen hochschuldidaktischer Weiterbildungsseminare. Dabei wurde die Papier-Evaluation nach der Veranstaltung verglichen sowohl mit der Papier-Evaluation während der Veranstaltung als auch mit der Online-Evaluation nach der Veranstaltung. Die Papier-Evaluation nach der Veranstaltung zeigte negativere Skalenratings als währenddessen, allerdings zeigten sich keine Unterschiede zur Online-Evaluation nach der Veranstaltung. Negative offene Kommentare waren länger bei der Evaluation nach als während der Veranstaltung, unabhängig vom Evaluationsmedium; dies galt nicht für die positiven Kommentare. Somit bestätigen die Daten unsere Hypothese, dass nur die Evaluationssituation, aber nicht das Evaluationsmedium, die Ergebnisse beeinflusst: Evaluation nach der Veranstaltung führt zu negativeren Ergebnissen als während der Veranstaltung. Die Ergebnisse werden auf der Grundlage des 4-Ebenen-Modells von Kirkpatrick diskutiert.
Stefen Müller (Technische Universität Kaiserslautern): Workload als Kenngröße im universitären Qualitätsmanagement? Entwicklung eines grafischen Verfahrens zur Workloaderhebung.
Mit der Einführung von ECTS und der Modularisierung von Studiengängen müssen Universitäten die Studierbarkeit unter anderem anhand von Workloadevaluationen darlegen. Der stärkere Einbezug von Selbststudienzeiten stellt für Lehrende wie Studierende besondere Herausforderungen dar. Möglichkeiten erfolgreicher Nach- und didaktischer Umsteuerungen hin zum kompetenzorientierten Studium – verstanden als Qualitätsmerkmal universitärer Lehre – können leicht übersehen werden, wenn Workloaderhebungen ausschließlich zu Akkreditierungszwecken durchgeführt werden. Das Zentrum für Lehrerbildung der Technischen Universität Kaiserslautern entwickelt daher ein grafisches Workload-Erhebungsverfahren, das die wiederholte Befragung von Studierenden unterstützt, die Bearbeitungsdauer minimiert und positive Effekte auf die Reflexionsfähigkeit im Selbststudium verspricht. Ziel des Beitrags ist es, neben dem Erhebungsinstrument empirische Ergebnisse der Erprobungsphase vorzustellen sowie Potenziale und Einsatzmöglichkeiten für die Erhebung von Workload zu diskutieren. Auf diese Weise können Anknüpfungspunkte an das Qualitätsmanagement der Universität und an die berechtigten Interessen der Studierenden an einer kompetenzentwickelnden Ausbildung geschaffen werden.
Christoph Schwarzl (Wirtschaftsuniversität Wien): Einsatz von videographischen Analysen zur Evaluation von Learning Outcomes im Hochschulbereich, dargestellt am Beispiel des Masterstudiums Wirtschaftspädagogik an der Wirtschaftsuniversität Wien
Die Learning Outcomes (LO) des Masterstudiums Wirtschaftspädagogik an der Wirtschaftsuniversität Wien wurden 2007 auf Programmebene implementiert, um eine lehrveranstaltungsübergreifend koordinierte Fokussierung auf den Output des Studienprogramms zu fördern. Mit der Frage der Erreichung dieser LO durch die Studierenden und deren Evaluation beschäftigt sich das in diesem Beitrag vorgestellte Forschungsprojekt. Aufgrund des komplexen Evaluationssettings wurde ein triangulativer Forschungsansatz gewählt, der neben Fragebögen (Selbst- und Fremdwahrnehmung) auf die videographische Analyse studentischer Leistungen baut. Dabei werden die Studierenden bei der Umsetzung der im Studium erlernten Kompetenzen in je einer simulierten und einer Realsituation auf Video aufgenommen. Anhand ausgewählter Beispiele wird in diesem Beitrag der gewählte Ansatz videobasierter Evaluation beruflicher Handlungskompetenzen zur outcomeorientierten Studienprogrammevaluation vorgestellt. Dabei wird neben konkreten Ergebnissen der vorliegenden Studie auch auf die Reichweiten und Grenzen des Evaluationssettings und der videobasierten Evaluationsmethode beim Einsatz im hochschulischen Kontext eingegangen.