Beschreibung

COFFEE stellt Studierenden ein Feedback für ihre Lösungen zu Freitextaufgaben bereit. Dieses Feedback basiert auf den Kriterien, welche von Lehrenden vorgegeben werden. Dadurch weiß COFFEE, worauf es auch in der Klausur ankommt. Stark vereinfacht kann man sich die Funktionsweise von COFFEE so vorstellen: Ein Teil der Anwendung wird durch Lehrende bestimmt, der andere Teil wird dann durch eine KI ausgeführt.

Eine Lehrperson muss zunächst Fragen, Kriterien und Kontextinformationen – also wissenschaftliche Fachtexte, Musterlösungen oder Lehrtexte – in die entsprechenden Eingabemasken einfügen. Sie schreibt einen Prompt zu jedem Bewertungskriterium und wählt ein dazu passendes Large Language Model aus.

Alle Informationen werden dann in einer Datenbank zusammengeführt und an eine generative KI gesendet, die aus diesen Informationen Feedbacktexte erstellt.

Hinter COFFEE steht die Idee, ein lernförderliches Feedback zu Freitextaufgaben in Kursen mit vielen Studierenden automatisiert zu geben, was von den Lehrenden aufgrund der hohen Teilnehmerzahl oftmals nicht geleistet werden kann. Mit der Entwicklung von großen Sprachmodellen bzw. mit generativer KI wurde diese Vision greifbar. Da generative KI, oder genauer gesagt Large Language Models (LLMs) darauf trainiert wurden, immer die Antwort zu geben, die mit hoher Wahrscheinlichkeit gewünscht ist, kommt es oft zu sogenannten Halluzinationen und damit zu ungenauen Feedbacks. Die Ziele von COFFEE liegen darin, durch die Kombination mit den von Lehrenden vorgegebenen Bewertungskriterien ein skalierbares automatisiertes lernförderliches Feedback zu Freitextaufgaben zu ermöglichen, das auch den Ansprüchen in der Hochschullehre gerecht wird.

Weitere Informationen

Korrektives Feedback ist eine Rückmeldung zu einer Lernleistung, die Informationen auf der Aufgabenebene gibt, Wissen über das Ergebnis, Wissen über die Leistung und Informationen darüber bereitstellt, wie die Fertigkeit erfolgreicher ausgeführt werden könnte. Feedback kann formativ oder summativ gegeben werden. Feedback gilt als formativ, wenn die Lernenden nach dem erhaltenen Feedback weitere Möglichkeiten zum Üben oder zur erneuten Abgabe ihrer Arbeit haben. Ein summatives Feedback wird am Ende des Lernprozesses bereitgestellt und dient dazu, Lernenden eine Gesamtbewertung ihres Lernfortschritts zu geben. COFFEE darf nicht für eine summative Bewertung genutzt werden!

Voraussetzungen

Zugang zur Anwendung COFFEE, Freitextaufgaben mit Bewertungskriterien und passenden Kontextinformationen (Musterlösungen, Studientexte), Kenntnisse im Prompt Engineering, die schnell mit den passenden Weiterbildungsmaterialien erlernt werden können

Tools

Anwendung COFFEE

Screencast der Studierendensicht und Screencast der Lehrendensicht

Hinweis

COFFEE ist für ein formatives Feedback geeignet, es kann aktuell nicht für ein summatives Feedback genutzt werden! Die Vorbereitung von Aufgaben, Bewertungskriterien und passenden Kontextinformationen sind hilfreich, um Feedbacks in COFFEE schnell anzulegen. Die Qualität der Feedbacks kann während des Semesters geprüft und angepasst werden.

Ergänzende Literatur

Karolyi, H., van Rijn, L., Hanses, M., de Witt, C., 2025. Ein wertesensibles Design für formatives Feedback mit Trusted Learning Analytics und KI, in: Queckenberg, R., Leschke, J., Persike, M. (Eds.), Learning Analytics, Artificial Intelligence und Data Mining in der Hochschulbildung, Beiträge zur Learning Aid 2024. transkript Verlag, Bielefeld, pp. 101–111. Abrufbar unter: https://www.transcript-verlag.de/978-3-8376-7583-2/learning-analytics-artificial-intelligence-und-data-mining-in-der-hochschulbildung/?number=978-3-8394-7583-6

Hanses, M. (in press). Beyond Silos: Functional Requirements for Next-Generation Educational Data Architectures in Higher Education. I-HE4, Hagen.

Hanses, M., Karolyi, H., Wöhrle, J., & de Witt, C. (in press). In-House GenAI for Corrective Formative Feedback in Higher Education. EC-TEL, Part II.