Assisted Scoring of Learner Answers through Normalization

English

Das Projekt startet am 01.12.25. ASLAN ist ein DFG-gefördertes CATALPA Projekt. DFG-Projektnummer 563947383.

Neben der Vermittlung von Wissen ist die Überprüfung des Lernerfolges eine der wichtigsten Aufgaben in jedem Lehr-Lern-Prozess. Dabei spielen Freitextaufgaben, also Aufgaben, die als Antwort einen kurzen, frei formulierten Text erfordern, in vielen Fächern eine zentrale Rolle. Die Forschenden untersuchen, wie sie mit Hilfe von KI das korrigieren solcher Aufgaben unterstützen können und wählen einen neuartigen Angang.

Projektziele und Forschungsfragen

Durch die Varianz der Lernerantworten ist eine vollständig automatisierte Bewertung durch maschinelle Lernverfahren bisher nur in sehr begrenztem Maße möglich. Insbesondere die Intransparenz und fehlende Erklärbarkeit der Modelle steht dem praktischen Einsatz im Wege.

Wir schlagen daher ein alternatives Paradigma für den Einsatz von künstlicher Intelligenz und Sprachverarbeitung zur Unterstützung der Bewertung vor, bei dem nicht die eigentliche Bewertung automatisiert wird (mit all den damit verbundenen Akzeptanzproblemen und ethischen Herausforderungen), sondern die Bewertung weiter vom Menschen vorgenommen wird unter Zuhilfenahme von Textnormalisierungsmethoden.

Damit zielen wir auf eine höhere Erklärbarkeit der Bewertungsvorschläge, eine leichtere Adaptierung auf neue Aufgaben und gleichzeitig eine deutliche Entlastung der Lehrenden bei zeitaufwändigen Bewertungsaufgaben.

Damit diese Ziele erreicht werden können, liegt ein zentraler Fokus des Projektes auf der Weiterentwicklung der Textnormalisierungsverfahren, damit die sprachliche Varianz der Antworten deutlich reduziert werden kann.

Ein weiterer Schwerpunkt liegt in der praktischen Einbindung in Moodle als eAssessment-System und der Durchführung von Nutzungsstudien unter realistischen Bedingungen.

Wir untersuchen insbesondere, wie Bewertende mit dem System interagieren und wie dieses Vorgehen die Genauigkeit und den zeitlichen Aufwand der Bewertungen im Vergleich zur herkömmlichen menschlichen Bewertung einerseits und zu einem vollautomatischen Bewertungsmodell andererseits beeinflusst.

Die Forschungsgemeinschaft wird in vielfältiger Weise über die erzielten Forschungsergebnisse hinaus von dem Projekt profitieren: Zur Erforschung der Textnormalisierungsverfahren wird ein annotierter Datensatz erstellt werden, der über das Projekt hinaus frei zur Verfügung stehen und weitere Untersuchungen der zugrundeliegenden linguistischen Phänomene befruchten wird. Die Normalisierung wird zum Teil als Shared Task mit der Community organisiert und so weitere Forschung auf diesem Gebiet angeregt. Alle entwickelten Werkzeuge, insbesondere ein Prototyp zur KI-gestützten Bewertung, werden zudem als open-source-Projekte bereitgestellt.