Bewertungen durch sprachgenerierende Systeme

Rainer Mühlhoff und Marte Henningsen haben das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben getestet: Chatbots im Schulunterricht: Wir testen das Fobizz-Tool
zur automatischen Bewertung von Hausaufgaben. Ihr Fazit lautet, dass der Einsatz des Tools im Schulbetrieb nicht zu empfehlen ist, da es gravierende Mängel aufweist, die zum größten Teil in der Funktionsweise großer Sprachmodelle begründet sind, beispielsweise Volatilität und Inkonsistenz von Bewertungen. Problematisch u.a. ist, dass das Bewertungs-Tool ein Kriterium enthalten kann, ob ein Text von einem sprachgenerierenden System erzeugt wurde. Dieser Punkt ist grundsätzlich ein sehr kritischer, da die technische Erkennung nicht zuverlässig funktioniert und zu falschen Bewertungen führen kann.