COFFEE - Corrective Formative Feedback

English

Foto: CATALPA

COFFEE ist eine Anwendung, die Lehrenden Unterstützung bei der Bereitstellung von Feedbacks zu Lösungen auf Freitextaufgaben für Studierende bietet. Lehrende können ihre eigenen Freitextaufgaben in Kombination mit den entsprechenden Bewertungskriterien und konkretem Lernkontext in COFFEE einbringen und effizient Feedbacks für ihre Lehre erstellen.

Studierende bekommen Feedbacks spezifisch für ihre eingegebene Lösung per Knopfdruck mittels generativer KI in der Feedbackanwendung COFFEE. Das Feedback kann für eine beliebige Anzahl an Fragen erstellt werden und ist in der Kursgröße nicht begrenzt, da es automatisiert zu jeder eingegebenen Lösung generiert wird. Für einen schnellen Start sind typische Kriterien und passende Prompts über die Begleitmaterialien verfügbar und können ganz einfach angepasst werden. Large Language Models (LLMs) können passend zu jedem Kriterium ausgewählt werden, so dass man für den fachlichen Zusammenhang das am besten geeignete Modell nutzen kann.

Screencasts geben einen ersten Eindruck von der Anwendung:

Screencast der Studierendensicht

Screencast der Lehrendensicht

Mit COFFEE können Lehrende ihren Studierenden ein Feedback zu Lösungen auf Freitextaufgaben bereitstellen. Dieses Feedback basiert auf den didaktischen Kriterien, welche von Lehrenden vorgegeben werden. Stark vereinfacht kann man sich die Funktionsweise von COFFEE so vorstellen: Ein Teil der Anwendung wird durch Lehrende bestimmt, die ihre Aufgaben und Bewertungskriterien in die Anwendung eingeben, und dann über einen Prompt an ein generatives KI-Model gesendet wird. Dieses sendet dann das Feedback lösungsspezifisch aus. So können Studierende schnell die Stärken und Schwächen ihrer Lösung in Bezug zu den Lernzielen des Kurses überprüfen. In einem Value Sensitive Designprozess wurde COFFEE entwickelt und als Open Source Lösung für Hochschulen veröffentlicht. Nach Installation der Anwendung und der Ausbildung von KI-Kompetenzen bei den Nutzergruppen kann die Anwendung COFFEE an Hochschulen direkt in Betrieb genommen werden. Alle dafür nötigen Informationen und Begleitmaterialien sind im Abschnitt Medien verlinkt. Rahmenbedingungen wie Datenschutz und EU KI-VO wurden im Entwicklungsprozess berücksichtigt.

    • Wannemacher, K., Bosse, E., Lübcke, M., & Kaemena, M. (2025). Wie KI Studiumund Lehre verändert. Anwendungsfelder, Use-Cases und Gelingensbedingungen (Arbeitspapier (Geschäftsstelle Hochschulforum Digitalisierung) No. Nr. 87; S. 74ff). Hochschulforum Digitalisierung. https://hochschulforumdigitalisierung.de/publikationen/arbeitspapier-nr-87-wie-kistudium-und-lehre-veraendert/
    • Karolyi, H., van Rijn, L., Hanses, M., de Witt, C. (2025). Ein wertesensibles Design für formatives Feedback mit Trusted Learning Analytics und KI, in: Queckenberg, R., Leschke, J., Persike, M. (Eds.), Learning Analytics, Artificial Intelligence und Data Mining in der Hochschulbildung, Beiträge zur Learning Aid 2024. transkript Verlag, Bielefeld, pp. 101–111. ISBN: 978-3-8376-7583-2
    • Hanses, M., Karolyi, H., Wöhrle, J., De Witt, C. (2025). In-House GenAI for Corrective Formative Feedback in Higher Education, in: Tammets, K., Sosnovsky, S., Ferreira Mello, R., Pishtari, G., Nazaretsky, T. (Eds.), Two Decades of TEL. From Lessons Learnt to Challenges Ahead, Lecture Notes in Computer Science. Springer Nature Switzerland, Cham, pp. 319–324. ps://doi.org/10.1007/978-3-032-03873-9_43
    • Zesch, T., Hanses, M., Seidel, N., Aggarwal, P., Veiel, D., & de Witt, C. (2024). Flexible LLM Experimental Infrastructure (Flexi) – Enabling Experimentation and Innovation in Higher Education Through Access to Open LLMs. In 2024 21st International Conference on Information Technology Based Higher Education and Training (ITHET) (pp. 1–8). IEEE.https://doi.org/10.1109/ITHET61869.2024.10837635
    • Wöhrle, J., Hanses, M. Karolyi, H., van Rijn, L., de Witt, C. (submitted). University Students’ Adoption, Feedback Perceptions, and Learning with a Generative-AI Tool: A Pre–Post Study of COFFEE In. European Association of Distance Teaching Universities. Rethinking Higher Education: Engage, Adapt, Include. Proceedings of the Innovating Higher Education Conference 2025.
    • Karolyi, H. et al. (accepted). COFFEE - KI in der Hochschulbildung nachhaltig nutzen. In Netzwerk Hochschulforschung Österreich (Hrsg.), Innovate. Adapt. Preserve: Navigating Change in Higher Education, Tagungsbad der 5. HoFo Konferenz Waxmann.

  • Code der Anwendung COFFEE incl. 1 LLM (Phi:4):
    https://github.com/hansesm/COFFEE

CATALPA | 25.11.2025