Impact of AI assistance on student agency

Ali Darvishi, Hassan Khosravi, Shazia Sadiq, Dragan Gaševi?, George Siemens,
Impact of AI assistance on student agency, Computers & Education, Volume 210, 2024, 104967, ISSN 0360-1315, https://doi.org/10.1016/j.compedu.2023.104967.

Der Artikel gibt Hinweise darauf, wie KI-Unterstützung auf Lernprozesse wirken kann bzw. inwieweit KI-Assistenz einen Lerneffekt haben kann. Spezifisch wird in dem Artikel untersucht, wie sich die Unterstützung von KI beim Geben von Feedback auf studentisches Lernen auswirkt. Studentisches Lernen wird dabei im Rahmen von selbstgesteuertem Lernen verortet. Die Untersuchung verfolgt drei Forschungsfragen. Erstens wird danach gefragt, ob KI-Unterstützung zu unabhängigem Lernen führt. Zweitens lautet die Fragestellung, inwieweit die KI-Unterstützung durch Strategien des selbstgesteuerten Lernens abgelöst werden kann. Drittens lautet die Frage, ob eine Kombination aus KI-Unterstützung und die Anwendung von Strategien des selbstgesteuerten Lernens zu besseren Ergebnissen führt. 

Die Untersuchung wurde bei mehreren Kursen mit insgesamt 1625 Teilnehmenden durchgeführt. Diese mussten Peer Reviews zu erstellten Lernmaterialien anfertigen. In den ersten vier Wochen erhielten die Studierenden dazu Hinweise von einer KI-Software. Die Hinweise bezogen sich auf die Identifizierung von Vorschlägen im Feedbacktext. Wenn keine gefunden wurden, erhielten die Studierenden einen Hinweis, Vorschläge zu machen. Ermittelt wurde außerdem ein Beziehungswert, der aussagt, wie nah das Feedback am eingereichten Text liegt. Fällt der Wert zu niedrig aus, wird eine Empfehlung gegeben, spezifischer mit dem Feedback zu sein. Des Weiteren wurde mit einem Ähnlichkeitswert gearbeitet, der ermittelt, wie ähnlich das Feedback zu vorangegangenen Beiträgen ist, um repetitive und generische Antworten zu vermeiden. 

In den zweiten vier Wochen wurden die Studierenden zufallsmäßig auf vier Gruppen verteilt. Eine Gruppe arbeitete mit KI-Unterstützung, eine zweite ohne, eine dritte mit einer Checkliste zum selbstgesteuerten Lernen und eine vierte Gruppe hatte sowohl KI-Unterstützung als auch die Checkliste zur Verfügung. Anhand folgender Messkriterien wurde festgestellt, wie erfolgreich die jeweiligen Gruppen gewesen sind: Rate der gekennzeichneten Reviews (indizieren die Notwendigkeit einer Überarbeitung), Ähnlichkeitswert, Beziehungswert, Länge der Beiträge, Bearbeitungsdauer, Nützlichkeitsrate.

Die Ergebnisse zeigten bezüglich der 1. Hypthese (Lerneffekt durch KI-Unterstützung) entlang aller Messkriterien einen deutlichen Abfall der Gruppe, die ohne KI-Unterstützung arbeitete. Ähnliche Ergebnisse ergaben sich bezüglich der 2. Hypothese, d.h. der Nutzung von Checklisten zur Selbstbeobachtung, welche die KI-Unterstützung ersetzt haben. Die 3. Hypothese wurde nicht bestätigt, die Kombination aus Checklisten und KI-Unterstützung führte nicht zu einer signifikanten Verbesserung der Feedbacks.