Meet CATALPA: Mit APLE II passgenauer auf Studierende eingehen

Foto: CATALPA

09.11.2023 | Lernplattformen wie Moodle können sehr große Kohorten von Studierenden mit Lernmaterial und Aufgaben versorgen. Doch wie können diese Lernplattformen Studierende wirklich beim Lernen unterstützen? Niels Seidel und sein Team untersuchen im CATALPA-Projekt APLE II (Adaptive Personalized Learning Environment II), mit welchen KI-basierten Tools das gelingen kann.

Eine adaptive Lernumgebung verhält sich wie ein aufmerksamer Lehrender, der den Lernfortschritt jedes/r einzelnen Lernenden im Blick hat und zur richtig Zeit Hinweise und Rückmeldungen gibt. Für die Studierenden entsteht somit ein personalisiertes Lernangebot. Es wird ihren Bedürfnissen, Vorlieben und ihrem aktuellen Lernstand gerecht, indem es ihre Aufmerksamkeit auf wesentliche Lernaspekte lenkt. Im Projekt APLE werden adaptive Lernunterstützungen bereits heute in der Lehre eingesetzt. “Für die Erprobung und Untersuchung haben wir seit 2018 einige Kurse der FernUniversität in einer Forschungslernplattform, ähnlich einem Reallabor, implementiert”, erklärt Dr. Niels Seidel die Rahmenbedingungen seiner Forschung. Die adaptive Unterstützung des Lernens wird in drei Bereichen betrachtet:

1) Beim selbstregulierten Lernen innerhalb eines Kurses mit vielen Lernangeboten, die über eine längere Zeit bis hin zur Prüfung genutzt werden.

2) Beim Lesen umfangreicher Studientexte und der parallelen Überprüfung des Leseverständnisses.

3) Bei der Lösung von Übungsaufgaben und der Selbstbewertung (Self-Assessments) mit Hilfe von Bewertungskriterien.

“In allen drei Bereichen spiegeln wir den Lernenden ihr Lernverhalten in Form von Datengrafiken wider. Sie sehen zum Beispiel welche Abschnitte der Studientexte sie schon mehrmals gelesen haben und welche sie nur überflogen haben. Bei den Self-Assessments helfen Visualisierungen dabei, Wissenslücken und nächste Lernschritte sichtbar zu machen. Typisch für die Arbeit im Bereich Learning Analytics, setzen wir sogenannte Learner Dashboards ein, welche den Lernfortschritt und die Lernleistungen je Lernaktivitäten auf einem Blick anzeigen. Auf diese Art wird selbstreguliertes Lernen gefördert”, erklärt Niels Seidel weiter und ist damit auch schon mitten im Projekt.

Das Besondere im Projekt APLE II ist die Unterstützung des Lernens durch Feedback. Auf Kursebene werden für gleichartige Aktivitäten, wie etwa Lesen und Übungsaufgaben, die Ergebnisse des Lernenden zusammengefasst und mit den selbst gesteckten Zielen abgeglichen. Hierauf aufbauend, können nächste Schritte und Lernstrategien vorgeschlagen werden. Die Steuerung des personalisierten Feedbacks liegt dabei in der Hand der Lehrkräfte. Auch wenn aktuell schon die Formulierung von Feedbacktexten durch Large Language Models (LLM) erfolgen kann, können die Lehrkräfte die Situationen und Input-Parameter bestimmen, die für das Feedback ausschlaggebend sind.
Auf der Ebene von Studientexten stellt die adaptive Überprüfung des Leseverständnisses per se ein Feedback dar. Die Verständnisfragen werden jedoch so ausgewählt, dass sie dem Lesefortschritt, das Verstehenslevel und das Transferwissen innerhalb des Textes und in Bezug auf verwandte Lerntexte berücksichtigen.

Doktorandin aus APLE II auf Konferenz in Indien

Photo1690797272 3_Foto: Privat

CATALPA-Nachwuchswissenschaftlerin Regina Kasakowskij hat kürzlich Ergebnisse aus dem Projekt APLE II in Bengaluru/Indien auf der Konferenz Educational Data Mining 2023 vorgestellt. Sie arbeitet für ihre Dissertation im Projekt APLE II an einem Self-Assessment-Tool. Das Ziel: Studierenden ein adaptives Feedback zu ihren Aufgabenlösungen geben. Für das Feedback werden individuelle Präferenzen der Lernenden und ihr zurückliegendes Lernverhalten berücksichtigt. Dafür entwickelte sie SAFRAN - ein Plug-In für Moodle.

SAFRAN steht für Self Assessments with Feedback RecommendAtioNs. Studierende können damit ihre Lösungen von Übungsaufgaben mit Hilfe von Bewertungskriterien selbst einschätzen und erhalten daraufhin ein für sie passendes Feedback. „Das Neue an dem Tool ist die Kombination aus situativem Feedback, eine Rückmeldemöglichkeit der Studierenden zu diesem Feedback und die Möglichkeit für Lehrende, skalierbare komplexe Aufgaben in einer digitalen Lernumgebung zu stellen. Das Plugin regt durch seine leichte Bedienbarkeit insbesondere dazu an, Aufgaben mehrfach zu wiederholen und damit einzuüben.“, sagt Regina Kasakowskij.

Um festzustellen, wie gut das Tool Studierende beim Self-Assessment unterstützt, untersuchte die Forscherin zudem, wie sich Sequenzen von Lernschritten bei der Aufgabennutzung auf die erreichten Punktzahlen auswirkte. „Wir haben festgestellt, dass sowohl Studierende, die sehr schnell die Aufgaben gelöst haben, als auch Studierende, die sich länger mit einzelnen Texten oder Aufgaben beschäftigt haben, ähnlich hohe Punktzahlen erhielten, wie bei Aufgaben, die durch Korrektoren bewertet wurden. Zunächst einmal könnte man ja denken, dass die erste Gruppe möglicherweise die Kriterien zur Bewertung ihrer Lösung nur erraten haben, da sie so schnell mit der Bearbeitung waren. Der Vergleich der Punktzahlen zeigt aber, dass sie tatsächlich einfach gut waren. Für personalisiertes Feedback heißt das wiederum: Wir sollten Feedback auch darauf ausrichten, diesen schnellen Studierenden durch Computerbased Adaptive Testing zum Beispiel weiterführende oder schwierigere Aufgaben vorzuschlagen“, erklärt die Wissenschaftlerin.

Auf der Konferenz in Indien fand das Tool von Regina Kasakowskij Anklang. Mit internationalen Kolleg:innen, die das Tool selbst für ihre Forschung und Lehre nutzen möchten, ist sie bereits in Austausch.

Derzeit arbeiten Niels Seidel und sein Team im Rahmen von APLE II u.a. daran:

  • Lernermodelle und Adaptionsregeln für die Definition und die automatische Erzeugung von Feedback (u.a. mit LLM) zu Lernprozessen innerhalb einer Lektion einzuführen (Niels Seidel);
  • Concept Maps und anderen Aufgabentypen für die adaptive Überprüfung des Leseverständnisses parallel zum Lesen von Studientexten zu entwickeln (Dennis Menze);
  • die Unterstützung der Selbstregulation in verschiedenen Online-Lernumgebungen mit Hilfe eines theoriegeleiteten Klassifikationssystems bewerten zu können (Slavisa Radovic);
  • den Zusammenhang von Selbstregulationsunterstützung und Lernverhalten im Längsschnitt zu untersuchen (Slavisa Radovic);
  • vielgestaltige Studientexte KI-basiert automatisiert zu vertonen und als Hyperaudio kollaborativ nutzbar zu machen (Niels Seidel).

Aktuelle Veranstaltung mit Niels Seidel

14. November 2023: Von Kreide- zu Datenspuren: Forschungsdatenmanagement und KI in der Hochschulbildung. Tag der Forschungsdaten in NRW.

Sandra Kirschbaum | 09.11.2023