Projektlaufzeit
seit 1. Oktober 2018
Ziel
Das Ziel der Untersuchung soll die Klärung folgender praxisrelevanter Fragestellungen sein.
- Unterscheiden sich Veranstaltungsbewertungen hinsichtlich
- der Anzahl der Kommentare
- der Länge der Kommentare
- der Qualität der Kommentare
- sowie der Bewertung geschlossener Fragen?
in Abhängigkeit der Befragungsmethode (online, Papier)?
- Unterscheiden sich Veranstaltungsbewertungen hinsichtlich
- der Anzahl der Kommentare
- der Länge der Kommentare
- der Qualität der Kommentare
- sowie der Bewertung geschlossener Fragen?
in Abhängigkeit des Befragungszeitpunktes (innerhalb und außerhalb der Präsenzzeit)?
Inhalt
In der Vergangenheit wurden Lehrveranstaltungsbewertungen an deutschen Hochschulen in der Regel papierbasiert in der Präsenzzeit durchgeführt. Im Zuge der Digitalisierung und vor dem Hintergrund der ausgeprägten „mobile readiness“ unter den Studierenden werden Lehrveranstaltungsbewertungen nunmehr auch verstärkt onlinebasiert in Präsenzzeit (oiP) angeboten. Es besteht jedoch wenig systemisch erhobenes Wissen darüber, ob sich oiP erhobene Bewertungen von Bewertungen, die mittels Papierbogen erhoben wurden, unterscheiden. Vielmehr wurden in vorhandenen Studien Befragungsmethode und Befragungszeitpunkt konfundiert (z. B. Ardalan, Coppage & Crouch, 2007; Avery, Bryant, Mathios, Kang & Bell, 2006; Layne, Decristoforo & McGinty, 1999; Sax, Gilmartin & Bryant, 2003), also die Bewertungen papierbasiert erhoben in der Präsenzzeit verglichen mit online erhobenen Daten außerhalb der Präsenzzeit.
Das Forschungsprojekt berücksichtigt dies, in dem in einem 2x2 Design online- und papierbasierte Befragungsmethoden zu den beiden Zeitpunkten in und außerhalb der Präsenzzeit zum Einsatz kamen. Damit kann das Antwortverhalten zu geschlossenen und offenen Bewertungsfragen verglichen. Es können systematische Unterschiede dargestellt werden.
Untersuchungsdesign / Methodisches Vorgehen
Zum Einsatz kam ein Standardfragebogen zur Bewertung von Lehrveranstaltungen an der JGU. Er beinhaltete zwei offene Antwortmöglichkeiten, mit denen die Studierenden angeben konnten, was sie an der Veranstaltung positiv fanden bzw. was sie verbessern würden. Die geschlossenen Fragen deckten verschiedene Dimensionen der Lehrveranstaltung wie Interesse, Vorwissen, Arbeitsaufwand, Didaktik, Betreuung, Motivierung oder auch die wahrgenommenen Anforderungen ab.
In einem 2x2 Erhebungsdesign wurden die verschiedene Befragungszeitpunkte und Befragungsmethoden kombiniert (online & innerhalb der Präsenzzeit, online & außerhalb der Präsenzzeit, papierbasiert & innerhalb der Präsenzzeit, papierbasiert & außerhalb der Präsenzzeit). In Vorlesungen des Wintersemesters 2018/19, deren Teilnehmeranzahl 100 und mehr Studierende betrug, wurden die Fragebögen und die Onlinezugänge (QR-Code oder Link) randomisiert zugeteilt, jeweils innerhalb und außerhalb der Präsenzzeit.
Zentrale Ergebnisse
Die Auswertungen innerhalb der Präsenzzeit differenzieren zwischen drei Eingabegeräten: Laptop, Smartphone und dem papierbasierten Fragebogen.
Das Antwortverhalten hinsichtlich der geschlossenen Fragen unterscheidet sich in Abhängigkeit des Eingabegerätes nicht. Positive Kommentare hingegen haben unter der Prämisse eines „best practice“ Feedback eine geringere Qualität, wenn sie mit einem mobilen Endgerät abgegeben wurden. Darüber hinaus zeigen sich auch Unterschiede in der Länge der Kommentare und im schriftlichen Sprachgebrauch.
Die Ergebnisse wurden u.a. präsentiert im Rahmen des Vortrags:
Schmidt, F. (2019). Qualitätsverlust bei Offenen Fragen durch Online-in-Präsenz-Befragungen? Tagungsbeitrag zur Evasys-Tagung 2019 „Digitalisierung mit EvaSys gestalten: Prozesse optimieren, Qualität sichern“; 11. / 12.09.2019 in Hamburg.