Master- und Abschlussarbeiten Learning Sciences

Welche Hilfestellungen suchen Lernende bei LLMs, und wie wirkt sich die Art der Interaktion auf Wissenserwerb und Selbstwirksamkeit aus?

Kurzbeschreibung: Lernende interagieren sehr unterschiedlich mit großen Sprachmodellen (LLMs): Während einige direkt Lösungen abfragen und die KI als Reparaturmechanismus nutzen, suchen andere nach unterstützenden Erklärungen und reflektieren ihre Denkprozesse. In der psychologischen Literatur wird dieses Verhalten im Kontext des Help-Seeking vor allem in „executive“ (lösungsorientiertes, oft passives Hilfeverhalten) und „instrumental help-seeking“ (lernförderliches, prozessbegleitendes Hilfeverhalten) unterschieden.

Ziel dieser Arbeit ist es, unterschiedliche Formen des Help-Seeking bei der Interaktion mit LLMs systematisch zu erfassen und deren Zusammenhang mit Wissenserwerb und Selbstwirksamkeitserleben zu analysieren. Darüber hinaus sollen mögliche Interventionen und Coachingstrategien entwickelt werden, um lernförderliches Hilfeverhalten im Umgang mit KI zu fördern.

Mögliche Forschungsfragen:

• Welche Formen von Help-Seeking zeigen Lernende bei der Nutzung von LLMs in Problemlösekontexten?
• Wie hängen verschiedene Help-Seeking-Strategien mit Lernerfolg und wahrgenommener Selbstwirksamkeit zusammen?
• Welche Gestaltungsansätze (z. B. Prompt-Vorschläge oder Coachingelemente) unterstützen lernförderliches Hilfeverhalten in der Interaktion mit LLMs?

Methodik:

• Erhebung von Interaktionsdaten (z. B. Chatverläufe, Screencasts oder Transkripte)
• Kategorisierung der Help-Seeking-Typen mittels qualitativer Inhaltsanalyse
• Erhebung von Lernoutcomes (z. B. Wissenstests, Skalen zur Selbstwirksamkeit)

Entwicklung und erste Evaluation von Interventionen (z. B. „Prompt-Coach“, Reflexionshilfen)

Wie kann ein KI-gestützter Lernassistent gestaltet werden, um Studierende gezielt bei der Entwicklung kritischen Denkens zu unterstützen?

Kurzbeschreibung: In der psychologischen und bildungswissenschaftlichen Literatur werden verschiedene Modelle kritischen Denkens beschrieben, die unterschiedliche kognitive Prozesse und Phasen betonen – etwa Analyse, Evaluation oder Reflexion. Aufbauend auf diesen Modellen soll in dieser Masterarbeit zunächst eine systematische Klassifikation typischer Interaktionen zwischen Lernenden und großen Sprachmodellen (LLMs) vorgenommen werden. Anschließend werden gezielte Interventionsprompts entwickelt, die Studierende in den jeweiligen Phasen des kritischen Denkens aktivieren und unterstützen. Ziel ist die Konzeption eines KI-gestützten Lernassistenten, der evidenzbasiert zur Förderung kritischen Denkens im Hochschulkontext beiträgt.

Mögliche Forschungsfragen:

• Welche kognitiven und metakognitiven Prozesse des kritischen Denkens lassen sich durch LLM-gestützte Prompts gezielt anregen?
• Wie lassen sich Interaktionsmuster mit LLMs klassifizieren, um gezielte Interventionen in Lernprozesse zu ermöglichen?
• Wie bewerten Studierende die Nützlichkeit und Wirksamkeit von KI-gestützten Prompt-Interventionen zur Förderung ihres kritischen Denkens?

Methodik:

• Systematische Literaturrecherche zu Modellen kritischen Denkens
• Inhaltsanalyse von LLM-Interaktionen (z. B. mit ChatGPT)
• Entwicklung und Pilotierung von Interventionsprompts

Qualitative oder quantitative Evaluation (z. B. durch Fokusgruppen, Pre-Post-Vergleiche, Usability-Studien)

Kurzbeschreibung: Ziel dieser Masterarbeit ist die Konzeption, Entwicklung und erste Evaluation einer systematischen Prompting-Bibliothek, die Lehrende und Lernende im effektiven Einsatz von generativen KI-Systemen (z. B. ChatGPT) unterstützt. Die Bibliothek soll evidenzbasierte Prompt-Formulierungen enthalten, die gezielt kognitive, metakognitive und motivationale Prozesse anregen – z. B. zur Förderung von Selbstregulation, Reflexion, kritischem Denken oder zur Strukturierung von Lernprozessen.

Auf Grundlage psychologischer Theorien wie der Selbstregulationstheorie (Zimmerman, 2002), der Cognitive Load Theory (Sweller, 2010) und aktueller Forschung zur Mensch-KI-Interaktion werden Prompts kategorisiert, didaktisch aufbereitet und in einem nutzungsfreundlichen Format bereitgestellt (z. B. als interaktives Nachschlagewerk oder Web-Tool). Die Evaluation erfolgt durch qualitative Rückmeldungen von Lehrenden sowie durch Fallstudien oder Pilotanwendungen in Lernsettings.

Forschungsfragen (Beispiele):

• Wie lassen sich Prompts psychologisch fundiert strukturieren, um unterschiedliche Lernziele zu unterstützen?
• Welche Rolle spielt metakognitives Prompting bei der Förderung von Lernwirksamkeit im KI-unterstützten Lernen?
• Wie bewerten Lehrende und Lernende die Nützlichkeit, Verständlichkeit und Wirksamkeit der entwickelten Prompting-Bibliothek?

Methodik:

Literaturrecherche, qualitative Inhaltsanalyse, explorative Nutzungsstudien, ggf. Interviews oder Fokusgruppen mit Lehrenden und/oder Studierenden.

Wie wirkt sich die Modalität eines Reflektionsdialogs mit einem tutoriellen Agenten auf den Problemlöseprozess aus?

Kurzbeschreibung: Reflektierende Gespräche mit tutoriellen Agenten gelten als effektives Mittel zur Förderung metakognitiver Strategien und Problemlösefähigkeiten. Dabei ist bislang wenig erforscht, ob und wie sich unterschiedliche Modalitäten der Interaktion – z. B. gesprochener Dialog vs. textbasierter Chat – auf den kognitiven Verarbeitungsprozess, das Reflexionsverhalten sowie die Problemlöseleistung auswirken.

Diese Masterarbeit untersucht, ob sich die Art des Reflektionsdialogs mit einem KI-basierten tutoriellen Agenten in einer komplexen Problemlöseaufgabe auf Lernverhalten, Tiefe der Reflexion und den Lernerfolg auswirkt. Dazu werden zwei Modalitäten (Voice/Dialog vs. Text/Chat) experimentell verglichen.

Mögliche Forschungsfragen:

• Welche qualitativen Unterschiede zeigen sich im Reflexionsverhalten von Lernenden beim gesprochenen vs. geschriebenen Dialog mit einem tutoriellen Agenten?
• Hat die Modalität des Reflektionsdialogs einen Einfluss auf den Lernerfolg und die Problemlösekompetenz?
• Wie werden die verschiedenen Modalitäten hinsichtlich kognitiver Belastung, Motivation und wahrgenommener Unterstützung bewertet?

Methodik:

• Theoretische Fundierung durch Modelle zur Reflexion (z. B. Schön, 1983; Mezirow, 1991), zur Modalitätswirkung (z. B. Mayer’s Multimedia Learning Theory), und zur Mensch-Agent-Interaktion
• Experimenteller Vergleich zweier Bedingungen (Voice- vs. Chat-basierte Reflexion) mit randomisierter Zuteilung
• Durchführung einer komplexen Problemlöseaufgabe mit begleitender Reflexion über tutoriellen Agenten

Erfassung von Reflexionsqualität (z. B. durch Codierung der Dialoge), Problemlöseleistung (z. B. Punkte, Zeit, Strategieeinsatz), sowie subjektiven Bewertungen (Motivation, kognitive Belastung, Usability)

Wie wirkt sich die Modalität eines Reflektionsdialogs mit einem tutoriellen Agenten auf den Problemlöseprozess aus?

Kurzbeschreibung: Reflektierende Gespräche mit tutoriellen Agenten gelten als effektives Mittel zur Förderung metakognitiver Strategien und Problemlösefähigkeiten. Dabei ist bislang wenig erforscht, ob und wie sich unterschiedliche Modalitäten der Interaktion – z. B. gesprochener Dialog vs. textbasierter Chat – auf den kognitiven Verarbeitungsprozess, das Reflexionsverhalten sowie die Problemlöseleistung auswirken.

Diese Masterarbeit untersucht, ob sich die Art des Reflektionsdialogs mit einem KI-basierten tutoriellen Agenten in einer komplexen Problemlöseaufgabe auf Lernverhalten, Tiefe der Reflexion und den Lernerfolg auswirkt. Dazu werden zwei Modalitäten (Voice/Dialog vs. Text/Chat) experimentell verglichen.

Mögliche Forschungsfragen:

• Welche qualitativen Unterschiede zeigen sich im Reflexionsverhalten von Lernenden beim gesprochenen vs. geschriebenen Dialog mit einem tutoriellen Agenten?
• Hat die Modalität des Reflektionsdialogs einen Einfluss auf den Lernerfolg und die Problemlösekompetenz?
• Wie werden die verschiedenen Modalitäten hinsichtlich kognitiver Belastung, Motivation und wahrgenommener Unterstützung bewertet?

Methodik:

• Theoretische Fundierung durch Modelle zur Reflexion (z. B. Schön, 1983; Mezirow, 1991), zur Modalitätswirkung (z. B. Mayer’s Multimedia Learning Theory), und zur Mensch-Agent-Interaktion
• Experimenteller Vergleich zweier Bedingungen (Voice- vs. Chat-basierte Reflexion) mit randomisierter Zuteilung
• Durchführung einer komplexen Problemlöseaufgabe mit begleitender Reflexion über tutoriellen Agenten

Erfassung von Reflexionsqualität (z. B. durch Codierung der Dialoge), Problemlöseleistung (z. B. Punkte, Zeit, Strategieeinsatz), sowie subjektiven Bewertungen (Motivation, kognitive Belastung, Usability)

1. Background and Rationale

Distance education has gained increasing importance in recent years, especially in higher education contexts such as at FernUniversität in Hagen. Learning management systems (LMS) like Moodle play a key role in delivering teaching, learning activities, and assessments. While e-assessments offer benefits such as flexibility, scalability, and immediate feedback, they also introduce usability and UX challenges —especially for distance learners who may face limited support, varying levels of digital literacy, and reduced engagement.

Heuristic evaluation is a low-cost, expert-driven method for identifying usability problems (Nielsen, 1992). Heuristic evaluation can identify structural problems in the interface by looking for breaches of heuristic principles suggesting potential usability problems.

Frameworks like QRR (Quinones et al., 2018) offer structured, evidence-based processes for developing domain-specific heuristics. QRR has been applied in several digital education contexts, but its use in evaluating e-assessments for distance learners—especially involving gamified or immersive formats—has not yet been thoroughly explored.

This master thesis will investigate how existing heuristic evaluation frameworks can be applied, adapted, or extended to evaluate Moodle-based assessments in distance education. It will consider both conventional formats (e.g., multiple-choice quizzes, written assignments) and emerging ones (e.g., interactive H5P content, game-like tasks, or immersive/VR-based assessments).

2. Research Objectives and Questions

The overarching goal of this thesis is to support the design and evaluation of effective, accessible, and engaging e-assessment environments for distance learners. The thesis will aim to develop and validate a set of heuristics—either based on an existing framework (such as QRR) or built through an alternative approach.

Potential research questions include:

• What usability and user experience challenges do distance learners at FernUniversität in Hagen encounter when engaging with Moodle-based e-assessments?
• How can heuristic evaluation methods be adapted or applied to assess emerging assessment formats such as gamified or immersive activities?
• What kinds of heuristics are most effective in identifying usability and UX issues in real-world Moodle environments used in distance learning?

3. Methodology

The student will have flexibility in selecting an appropriate methodological approach in consultation with their supervisor. The project may involve applying an existing framework such as QRR, adapting a method like Rusu’s six-step model, or integrating multiple approaches (e.g., heuristic evaluation, thematic analysis, expert workshops).

Possible methodological components include:

• A literature review on UX in distance education and e-assessment systems.
• Empirical data collection via student surveys, interviews, or observations.
• Development of heuristics tailored to the Moodle platform and distance learning contexts.
• Validation through expert review, usability testing, or evaluation workshops.

4. Relevance and Contribution

This thesis will contribute a validated set of usability and UX heuristics for evaluating Moodle-based assessments in distance education, with special attention to the needs of remote learners and the growing use of gamified or immersive formats. Whether the student chooses to apply an existing framework or propose refinements, the project aims to generate practical guidance for instructional designers and improve evaluation practices at FernUniversität in Hagen.

The results may inform broader conversations about digital learning quality and accessibility and could be transferable to other institutions that use similar technologies and serve comparable learner populations.

5. Recommended Reading

• J. Nielsen (1992). Finding usability problems through heuristic evaluation. In: Proc. CHI ’92: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 1992, pp. 373–380, http://doi.org/10.1145/142750.142834.
• D. Quinones, C. Rusu, V. Rusu (2018). A methodology to develop usability/user experience heuristics, Comput. Stand. Interfaces. 59. 109–129.
• Lehnert, F., Doublet, S., & Sim, G. (2025). Designing usability/user experience heuristics to evaluate e-assessments administered to children. Computer Standards & Interfaces, 92, 103933.