COFFEE - KI-gestütztes formatives Feedback zu Freitextaufgaben
COFFEE (Corrective Formative Feedback) ist eine KI-gestützte Anwendung, mit der Lehrende automatisiertes, formatives Feedback zu Freitextaufgaben bereitstellen können. So wird ein individuelles, lösungsspezifisches Feedback zu Freitextaufgaben, das manuell kaum skalierbar ist fächerübergreifend ermöglicht. Ziel des Einsatzes von COFFEE ist, ein lernförderliches, zeitnahes Feedback, das Studierenden hilft, ihre Leistungen an klar definierten Bewertungskriterien und Prüfungsanforderungen auszurichten und selbstreguliertes Lernen zu stärken, zu erstellen.
Bild: KI-generiert
Zugang
Um COFFEE in der eigenen Lehre nutzen zu können, muss zunächst ein Kurs in COFFEE eingerichtet werden. Wenden Sie sich per E‑Mail an den Helpdesk und geben Sie dort folgende Informationen an:
- Fakultät
- Lehrgebiet
- Studiengang / Studiengänge
- Kurs / Kurse (mit Bezeichnung und möglichst Kursnummer)
Zudem sollten Sie den Selbstlernkurs „How to Make COFFEE“ absolviert haben, der auf der Offenen Lernplattform zur Verfügung steht.
FAQs
Funktionsweise und Nutzung
-
Lehrende geben Aufgaben, Bewertungskriterien und Kontextinformationen (z.B. Musterlösungen, Fachtexte) in COFFEE ein. Ein generatives KI‑Modell erzeugt daraus für jede eingereichte Studierendenlösung ein spezifisches Feedback.
-
Lehrende hinterlegen Freitextaufgaben, didaktische Bewertungskriterien, passende Kontextmaterialien sowie je Kriterium einen Prompt und wählen dazu geeignete LLMs aus.
-
Studierende bearbeiten die Freitextaufgabe, fügen ihre Lösung in eine Eingabemaske ein und lassen sich per Knopfdruck sofort ein individuelles Feedback generieren.
-
Nein, Feedback kann für eine beliebige Anzahl von Fragen erstellt werden, und die Kursgröße ist nicht begrenzt, da für jede Lösung automatisiert Feedback generiert wird.
-
Die angelegten Aufgaben können über Links oder per iframe in die Lernumgebung eines Kurses eingebunden werden, sodass Studierende direkt aus dem Kurs heraus auf COFFEE zugreifen.
Vorbereitung durch Lehrende
-
Benötigt werden eigene Freitextaufgaben, klare Bewertungskriterien und passende Kontextinformationen (z.B. Studientexte, Musterlösungen), die in COFFEE eingepflegt werden.
-
Grundkenntnisse im Prompt Engineering sind hilfreich, können aber mit den bereitgestellten Begleitmaterialien und dem Schulungsangebot „How to make COFFEE“ schnell erworben werden.
-
Es gibt Content‑Vorlagen für Kriterien und Prompts sowie ein Lernangebot „How to make COFFEE“, das Lehrende und andere Nutzergruppen in die Anwendung und Qualitätssicherung einführt.
Technische und organisatorische Aspekte
-
Ja, in COFFEE werden verschiedene LLM bereitgestellt, die per Auswahl aus einem Dropdown für jedes Bewertungskriterium ausgewählt werden können.
-
Der Open‑Source‑Code und Installationshinweise sind auf GitHub verfügbar: https://github.com/hansesm/COFFEE.
-
Es gibt Content‑Vorlagen für Kriterien und Prompts sowie ein Lernangebot „How to make COFFEE“, das Lehrende und andere Nutzergruppen in die Anwendung und Qualitätssicherung einführt.
Datenschutz, EU KI-VO und Regulierung
-
COFFEE folgt einem „Privacy by Default“-Ansatz, verzichtet auf personenbezogene Daten und kann mit gruppenbasierten Rollen arbeiten; konkrete Pflichten sind mit der lokalen Datenschutzbeauftragten Stelle abzustimmen.
-
Der Open‑Source‑Code und Installationshinweise sind auf GitHub verfügbar: https://github.com/hansesm/COFFEE.
-
Die Anwendung ist auf den Einsatz für Übungen im Lernprozess ausgelegt; Prüfungsleistungen dürfen nicht mit COFFEE bewertet werden, und Transparenzinformationen sowie Nutzungsbedingungen sind direkt in der Anwendung verfügbar.
-
Nach EU KI-VO sollen Nutzende über grundlegende KI‑Kompetenzen verfügen; das Angebot „How to make COFFEE“ und ergänzende Lernvideos unterstützen insbesondere den kritischen Umgang mit generativer KI.
Qualität des Feedbacks und Herausforderungen
-
Qualität entsteht durch passgenaue Kombination von Kontextmaterialien, sorgfältig formulierten Prompts und der Auswahl geeigneter LLMs; Anleitungen zur Qualitätssicherung sind in den Begleitmaterialien für Lehrende enthalten.
-
Herausforderungen sind u.a. wenig gehaltvolle Feedbacks bei unscharfen Prompts, Halluzinationen von LLMs, sehr komplexe oder mehrteilige Aufgabenstellungen und zu viele oder schlecht trennscharfe Kriterien.
-
Empfohlen werden etwa drei klar unterscheidbare Kriterien pro Aufgabe, um den Tokenverbrauch zu begrenzen und Redundanzen im Feedback zu vermeiden.
-
Über Qualitätssicherung und Evaluation können Prompts, Kontextinformationen und LLM‑Auswahl angepasst werden; ein Metrics‑Dashboard hilft, auffällige oder verbesserungswürdige Feedbacks zu identifizieren.
Lehre und Lernen mit COFFEE
-
COFFEE ergänzt, aber ersetzt nicht die pädagogische Verantwortung der Lehrenden; generative KI bleibt in wissenschaftlichen Kontexten fehleranfällig und benötigt didaktische Einbettung und kritische Reflexion.
-
COFFEE entlastet bei der Erstellung lösungsspezifischen Feedbacks, erlaubt die eigenständige Festlegung von Bewertungskriterien, bietet ein Metrics‑Dashboard und erweitert die Feedbackmöglichkeiten auch bei knappen Ressourcen.
-
Studierende erhalten innerhalb weniger Sekunden individuelles, lernförderliches Feedback, können in einem geschützten Übungsraum ohne personenbezogene Datenspeicherung arbeiten und bekommen die Anforderungen an gute Lösungen transparent vermittelt.
Links und Literatur
Der Einsatz von COFFEE wurde evaluiert, und erste Ergebnisse zeigen eine hohe wahrgenommene Nützlichkeit und Lernwirksamkeit in unterschiedlichen Fächern und großen Kursen (Wöhrle et al. 2025). Hier die Veröffentlichungen:
Karolyi, H., van Rijn, L., Hanses, M., de Witt, C., 2025. Ein wertesensibles Design für formatives Feedback mit Trusted Learning Analytics und KI, in: Queckenberg, R., Leschke, J., Persike, M. (Eds.), Learning Analytics, Artificial Intelligence und Data Mining in der Hochschulbildung, Beiträge zur Learning Aid 2024. transkript Verlag, Bielefeld, pp. 101–111. ISBN: 978-3-8376-7583-2
Hanses, M., Karolyi, H., Wöhrle, J., De Witt, C., 2025. In-House GenAI for Corrective Formative Feedback in Higher Education, in: Tammets, K., Sosnovsky, S., Ferreira Mello, R., Pishtari, G., Nazaretsky, T. (Eds.), Two Decades of TEL. From Lessons Learnt to Challenges Ahead, Lecture Notes in Computer Science. Springer Nature Switzerland, Cham, pp. 319–324. https://doi.org/10.1007/978-3-032-03873-9_43
Wöhrle, J., Hanses, M., Karolyi, H., van Rijn, L., & de Witt, C. (2025). University Students’ Adoption, Feedback Perceptions, and Learning with a Generative-AI Tool: A Pre– Post Study of COFFEE. Engage, Adapt, Include. Proceedings of the Innovating Higher Education Conference 2025., 117–131. https://doi.org/10.1109/ITHET61869.2024.10837635
submitted: Karolyi, H. et al., (submitted). COFFEE - KI in der Hochschulbildung nachhaltig nutzen. In Netzwerk Hochschulforschung Österreich (Hrsg.), Innovate. Adapt. Preserve: Navigating Change in Higher Education, Tagungsbad der 5. HoFo Konferenz Waxmann.
Open‑Source‑Code und Installationshinweise: https://github.com/hansesm/COFFEE.
Ansprechpersonen
Weitere Informationen
-
Selbstlernkurs "How to make COFFEE"
Bitte absolvieren Sie als Lehrende diesen Selbstlernkurs, bevor Sie COFFEE in Ihrer Lehre einsetzen.
-
Informationsangebot "KI in der Lehre"
Alle Informationen rund um Ki in der Lehre sammelt das ZLI auf diesen Seiten.
-
Workshops zu KI für Lehrende
Im Fortbildungsverzeichnis finden Sie Workshops zu KI in der Lehre.
-
Moodle-Kurs "KI in der Lehre" für Lehrende
In diesem Moodle-Kurs finden Lehrende Ressourcen zu generativer KI in der Lehre, die sie ihren Studierenden zur Verfügung stellen können.
-
Kurse für Studierende
Im Angebot von StudyFIT finden Sie auch Kurse zu KI im Studium.
