Aktuelles

Im Journal of Convergence in Technology and Management wurde folgender Beitrag veröffentlicht:

Lettow, N./Pantani, K./Littkemann, J. (2025): LLM-based Generation of Examination and Practise Tasks – A Systematic Literature Analysis, in: Journal of Convergence in Technology and Management: Global Nexus, Band 1, Nr. 2, S. 1-46.

Der Beitrag ist über https://doi.org/10.70965/jctmgn.vol.1.issue2.6als Volltext zugänglich.

Abstract:

Die zunehmende Rolle der künstlichen Intelligenz in der Hochschulbildung hat zu einem wachsenden Interesse an der Automatisierung der Erstellung von Prüfungs- und Übungsaufgaben geführt. Große Sprachmodelle haben sich als vielversprechende Lösung erwiesen, um den Zeit- und Arbeitsaufwand für die Erstellung von Prüfungen zu reduzieren und gleichzeitig die Flexibilität und Skalierbarkeit zu erhöhen.

Diese systematische Literaturübersicht bietet einen umfassenden Überblick über die Forschung zur Generierung von Aufgaben auf der Grundlage großer Sprachmodelle und untersucht deren Wirksamkeit, methodische Ansätze und Qualitätskriterien sowie die wichtigsten Herausforderungen.

Insgesamt wurden 60 Studien analysiert, die verschiedene Bereiche abdecken. Die Ergebnisse zeigen, dass große Sprachmodelle ein enormes Potenzial bieten, insbesondere im Hinblick auf Zeit- und Kosteneffizienz. Während LLM-generierte Aufgaben eine hohe grammatikalische Genauigkeit und kontextuelle Relevanz aufweisen, variiert die Qualität je nach Feinabstimmung des Modells, Prompt-Engineering-Techniken und Trainingsdaten. Automatisierte Bewertungsmetriken sowie Experten- und Studentenbewertungen zeigen, dass LLM-generierte Aufgaben oft nicht von manuell erstellten Aufgaben zu unterscheiden sind. Trotz ihrer Effizienz bleiben Herausforderungen bestehen, darunter das Risiko von Halluzinationen, Verzerrungen in den generierten Inhalten und das Fehlen von standardisierten Bewertungsrahmen. Darüber hinaus müssen ethische und rechtliche Überlegungen angestellt werden, bevor LLMs vollständig in die Prüfungserstellungsprozesse integriert werden können.

Weitere Publikationen des Lehrstuhls finden Sie auf der Publikationsseite des Lehrstuhls.

The following article was published in the Journal of Convergence in Technology and Management:

Lettow, N./Pantani, K./Littkemann, J. (2025): LLM-based Generation of Examination and Practise Tasks – A Systematic Literature Analysis, in: Journal of Convergence in Technology and Management: Global Nexus, Volume 1, Issue 2, pp. 1-46.

The full text of the article is available at https://doi.org/10.70965/jctmgn.vol.1.issue2.6.

Abstract:

The increasing role of artificial intelligence in higher education has led to a growing interest in automating the generation of examination and practice tasks. Large language models have emerged as a promising solution to reduce the time and effort required for exam creation while enhancing flexibility and scalability.

This systematic literature review provides a comprehensive overview of research on large language model based task generation, examining its effectiveness, methodological approaches and quality criteria, as well as key challenges.

A total of 60 studies were analyzed, covering various domains. The results show that large language models offer enormous potential, especially in terms of time and cost efficiency. While LLM-generated tasks exhibit high grammatical accuracy and contextual relevance, quality varies depending on model fine-tuning, prompt engineering techniques, and training data. Automated evaluation metrics alongside expert and student assessments, reveal that LLM-generated tasks are often indistinguishable from manually created ones. Despite their efficiency, challenges remain, including the risk of hallucinations, bias in generated content, and the lack of standardized evaluation frameworks. Moreover, ethical and legal considerations must be addressed before fully integrating LLMs into exam creation processes.

Further publications of the chair can be found on the chair's publications page.