Educational Natural Language Processing "EduNLP"

Die Nachwuchsgruppe ist Teil des Forschungsschwerpunktes CATALPA .

Freitextantworten automatisch bewerten und automatisierte Rückmeldungen für Lernende und Lehrende erstellen - damit dies in Zukunft zuverlässig funktionieren kann, untersucht unsere Nachwuchsgruppe wie Sprachverarbeitungsmethoden hier genutzt werden können.


Ziele und Forschungsfragen

Eine Kern-Forschungsfrage ist, wie Lernenden automatisiert formatives Feedback zu Essays gegeben werden kann. Dabei können verschiedene Aspekte eines Essays zum Tragen kommen, wie zum Beispiel syntaktische und lexikalische Varianz, Struktur und Aufbau, Kohärenz, inhaltliche Passung zur Aufgabenstellung oder korrekte Verwendung von figurativer Sprache.

Aus dieser Fragestellung ergeben sich eine Reihe von nachgelagerten Forschungsfragen:

  • Wie ist die Performanz von bestehenden automatischen Scoringverfahren zu den gewählten Phänomenen und wie können bestehende Verfahren auf einen konkreten Anwendungsfall, also beispielsweise eine konkrete Schreibaufgabe, adaptiert werden?

  • Wie sieht aus Sicht der Lehrenden hilfreiches formatives Feedback aus und wie können Datensätze mit solchen Feebacknachrichten erhoben werden?

  • Wie kann diese Art von Feedback automatisiert werden, zum Beispiel dadurch, dass ein Entscheidungsbaum gelernt wird, der die im konkreten Fall passende vom Menschen formulierte Feedbacknachricht auswählt, oder dadurch, dass eine Feedbacknachricht durch Verfahren der Natural Language Generation automatisch generiert wird?

  • Wie beurteilen Lernende solches Feedback im Hinblick auf Verständlichkeit und Natürlichkeit? Welche Auswirkungen hat solches Feedback auf die Lernenden im Hinblick auf den Lernerfolg?


Weiteres Projekt der Nachwuchsgruppe

Explaining AI Predictions of Semantic Relationships (gefördert durch das Land NRW im Rahmen des Förderprogramms „KI-Starter“, zur Pressemitteilung)

  • Dr. Andrea Horbach

    • Yuning Ding (Doktorandin)
    • Viet Phe Nguyen (studentische Hilfskraft)
    • Finn Brodmann (studentische Hilfskraft)
    • Joey Pehlke (studentische Hilfskraft)
  • Dezember 2021 – November 2024

  • Ding, Y., Bexte, M., & Horbach, A. (2022). Don’t Drop the Topic - The Role of the Prompt in Argument Identification in Student Writing. In Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications.

    Bexte, M., Horbach, A., & Zesch, T. (2022). Similarity-based Content Scoring - How to Make S-BERT Keep up with BERT. In Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications.

    Laarmann-Quante, R., Schwarz, L., Horbach, A., & Zesch, T. (2022). Meet me at the ribary’ – Acceptability of spelling variants in free-text answers to listening comprehension prompts. In Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications.

    Bexte, M., Laarmann-Quante, R., Horbach, A., & Zesch, T. (2022). LeSpell - A Multi-Lingual Benchmark Corpus of Spelling Errors to Develop Spellchecking Methods for Learner Language. In Proceedings of the 13th International Conference on Language Resources and Evaluation (LREC-2022).

    Bexte, M., Horbach, A., & Zesch, T. (2021). Implicit Phenomena in Short-answer Scoring Data. In Proceedings of the First Workshop on Understanding Implicit and Underspecified Language. https://aclanthology.org/2021.unimplicit-1.2/

    Horbach, A., Aldabe, I., Bexte, M., Lopez de Lacalle, O., & Maritxalar, M. (2020). Appropriateness and Pedagogic Usefulness of Reading Comprehension Questions. In Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC-2020). https://aclanthology.org/2020.lrec-1.217/

    Ding, Y., Riordan, B., Horbach, A., Cahill, A., & Zesch, T. (2020). Don’t take “nswvtnvakgxpm” for an answer - The surprising vulnerability of automatic content scoring systems to adversarial input. In Proceedings of the 28th International Conference on Computational Linguistics(COLING 2020). https://aclanthology.org/2020.coling-main.76/

    Ding, Y., Horbach, A., Wang, H., Song, X., & Zesch, T. (2020). Chinese Content Scoring: Open-Access Datasets and Features on Different Segmentation Levels. In Proceedings of the 1st conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing(AACL-IJCNLP 2020). https://aclanthology.org/2020.aacl-main.37/

    Horbach, A., & Zesch, T. (2019). The Influence of Variance in Learner Answers on Automatic Content Scoring. Frontiers in Education, 4, 28. https://duepublico2.uni-due.de/servlets/MCRFileNodeServlet/duepublico_derivate_00047459/Horbach_Zesch_Influence_Variance.pdf

    Horbach, A., Stennmanns, S., & Zesch, T. (2018). Cross-lingual Content Scoring. In Proceedings of the Thirteenth Workshop on Innovative Use of NLP for Building Educational Applications (pp. 410–419). New Orleans, LA, USA: Association for Computational Linguistics. http://www.aclweb.org/anthology/W18-0550

    Horbach, A., & Pinkal, M. (2018). Semi-Supervised Clustering for Short Answer Scoring. In LREC. Miyazaki, Japan. http://www.lrec-conf.org/proceedings/lrec2018/pdf/427.pdf

    Zesch, T., & Horbach, A. (2018). ESCRITO - An NLP-Enhanced Educational Scoring Toolkit. In Proceedings of the Language Resources and Evaluation Conference (LREC). Miyazaki, Japan: European Language Resources Association (ELRA). http://www.lrec-conf.org/proceedings/lrec2018/pdf/590.pdf

    Horbach, A., Ding, Y., & Zesch, T. (2017). The Influence of Spelling Errors on Content Scoring Performance. In Proceedings of the 4th Workshop on Natural Language Processing Techniques for Educational Applications (NLPTEA 2017) (pp. 45–53). Taipei, Taiwan: Asian Federation of Natural Language Processing. https://www.aclweb.org/anthology/W17-5908

    Horbach, A., Scholten-Akoun, D., Ding, Y., & Zesch, T. (2017). Fine-grained essay scoring of a complex writing task for native speakers. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications (pp. 357–366). Copenhagen, Denmark: Association for Computational Linguistics. https://doi.org/10.18653/v1/W17-5040

    Riordan, B., Horbach, A., Cahill, A., Zesch, T., & Lee, C. M. (2017). Investigating neural architectures for short answer scoring. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications (pp. 159–168). Copenhagen, Denmark: Association for Computational Linguistics. https://aclanthology.org/W17-5017/