Educational Natural Language Processing "EduNLP"

English

Die Nachwuchsgruppe ist Teil des Forschungszentrums CATALPA .

Freitextantworten automatisch bewerten und automatisierte Rückmeldungen für Lernende und Lehrende erstellen - damit dies in Zukunft zuverlässig funktionieren kann, untersucht unsere Nachwuchsgruppe wie Sprachverarbeitungsmethoden hier genutzt werden können.

Ziele und Forschungsfragen

Eine Kern-Forschungsfrage ist, wie Lernenden automatisiert formatives Feedback zu Essays gegeben werden kann. Dabei können verschiedene Aspekte eines Essays zum Tragen kommen, wie zum Beispiel syntaktische und lexikalische Varianz, Struktur und Aufbau, Kohärenz, inhaltliche Passung zur Aufgabenstellung oder korrekte Verwendung von figurativer Sprache.

Aus dieser Fragestellung ergeben sich eine Reihe von nachgelagerten Forschungsfragen:

  • Wie ist die Performanz von bestehenden automatischen Scoringverfahren zu den gewählten Phänomenen und wie können bestehende Verfahren auf einen konkreten Anwendungsfall, also beispielsweise eine konkrete Schreibaufgabe, adaptiert werden?

  • Wie sieht aus Sicht der Lehrenden hilfreiches formatives Feedback aus und wie können Datensätze mit solchen Feebacknachrichten erhoben werden?

  • Wie kann diese Art von Feedback automatisiert werden, zum Beispiel dadurch, dass ein Entscheidungsbaum gelernt wird, der die im konkreten Fall passende vom Menschen formulierte Feedbacknachricht auswählt, oder dadurch, dass eine Feedbacknachricht durch Verfahren der Natural Language Generation automatisch generiert wird?

  • Wie beurteilen Lernende solches Feedback im Hinblick auf Verständlichkeit und Natürlichkeit? Welche Auswirkungen hat solches Feedback auf die Lernenden im Hinblick auf den Lernerfolg?


Früheres Projekt der Nachwuchsgruppe

Explaining AI Predictions of Semantic Relationships (gefördert durch das Land NRW im Rahmen des Förderprogramms „KI-Starter“, zur Pressemitteilung)

  • Prof. Dr. Andrea Horbach

    • Yuning Ding (Doktorandin)
    • Viet Phe Nguyen (studentische Hilfskraft)
    • Finn Brodmann (studentische Hilfskraft)
    • Joey Pehlke (studentische Hilfskraft)

  • Dezember 2021 – November 2024

  • 2024

    Zeitschriftenartikel

    • Jansen, T., Meyer, J., Fleckenstein, J., Horbach, A., Keller, S., & Möller, J. (2024). Individualizing goal-setting interventions using automated writing evaluation to support secondary school students’ text revisions. Learning and Instruction, 89, 101847.
    • Meyer, J., Jansen, T., Schiller, R., Liebenow, L. W., Steinbach, M., Horbach, A., & Fleckenstein, J. (2024). Using LLMs to bring evidence-based feedback into the classroom: AI-generated feedback increases secondary students’ text revision, motivation, and positive emotions. Computers and Education: Artificial Intelligence, 6, 100199.
    • Schaller, N.-J., Horbach, A., Höft, L. I., Ding, Y., Bahr, J. L., Meyer, J., & Jansen, T. (2024). DARIUS: A Comprehensive Learner Corpus for Argument Mining in German-Language Essays.
    • Shin, H. J., Andersen, N., Horbach, A., Kim, E., Baik, J., & Zehner, F. (2024). Operational Automatic Scoring of Text Responses in 2016 ePIRLS: Performance and Linguistic Variance.

    Konferenzbeiträge

    • Bexte, M., Horbach, A., & Zesch, T. (2024). EVil-Probe - a Composite Benchmark for Extensive Visio-Linguistic Probing. In N. Calzolari, M.-Y. Kan, V. Hoste, A. Lenci, S. Sakti, & N. Xue (Hrsg.), Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024) (S. 6682–6700). ELRA; ICCL. https://aclanthology.org/2024.lrec-main.591
    • Ding, Y., Kashefi, O., Somasundaran, S., & Horbach, A. (2024). When Argumentation Meets Cohesion: Enhancing Automatic Feedback in Student Writing. Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), 17513–17524.
    • Shardlow, M., Alva-Manchego, F., Batista-Navarro, R. T., Bott, S., Ramirez, S. C., Cardon, R., François, T., Hayakawa, A., Horbach, A., Huelsing, A., et al. (2024). An Extensible Massively Multilingual Lexical Simplification Pipeline Dataset using the MultiLS Framework. Proceedings of the 3rd Workshop on Tools and Resources for People with REAding DIfficulties (READI)@ LREC-COLING 2024, 38–46.

    Vorträge und Posterpräsentationen

    • Wehrhahn, F., Ding, Y., Gaschler, R., Zhao, F., & Horbach, A. (2024, Juni 26–28). Argumentative essay writing practice with automated feedback and highlighting. [Poster Presentation]. EARLI SIG WRITING 2024 – ways2write, Université Paris Nanterre, France.

    2023

    Zeitschriftenartikel

    • Horbach, A., Pehlke, J., Laarmann-Quante, R., & Ding, Y. (2023). Crosslingual content scoring in five languages using machine-translation and multilingual transformer models. International Journal of Artificial Intelligence in Education, 1–27.
    • Zesch, T., Horbach, A., & Zehner, F. (2023). To Score or Not to Score: Factors Influencing Performance and Feasibility of Automatic Content Scoring of Text Responses. Educational Measurement: Issues and Practice, 42(1), 44–58. https://doi.org/10.1111/emip.12544

    Konferenzbeiträge

    • Bexte, M., Horbach, A., & Zesch, T. (2023). Similarity-Based Content Scoring - A more Classroom-Suitable Alternative to Instance-Based Scoring? Findings of the Association for Computational Linguistics: ACL 2023, 1892–1903. https://aclanthology.org/2023.findings-acl.119
    • Ding, Y., Bexte, M., & Horbach, A. (2023a). CATALPA_EduNLP at PragTag-2023. In M. Alshomary, C.-C. Chen, S. Muresan, J. Park, & J. Romberg (Hrsg.), Proceedings of the 10th Workshop on Argument Mining (S. 197–201). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.argmining-1.22
    • Ding, Y., Bexte, M., & Horbach, A. (2023b). Score It All Together: A Multi-Task Learning Study on Automatic Scoring of Argumentative Essays. Findings of the Association for Computational Linguistics: ACL 2023, 13052–13063. https://aclanthology.org/2023.findings-acl.825
    • Ding, Y., Trüb, R., Fleckenstein, J., Keller, S., & Horbach, A. (2023). Sequence Tagging in EFL Email Texts as Feedback for Language Learners. Proceedings of the 12th Workshop on NLP for Computer Assisted Language Learning, 53–62.
    • Mousa, A., Laarmann-Quante, R., & Horbach, A. (2023). Manual and Automatic Identification of Similar Arguments in EFL Learner Essays. Proceedings of the 12th Workshop on NLP for Computer Assisted Language Learning, 85–93.

    Herausgeberschaften

    • Kochmar, E., Burstein, J., Horbach, A., Laarmann-Quante, R., Madnani, N., Tack, A., Yaneva, V., Yuan, Z., & Zesch, T. (2023). Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2023).

    Vorträge und Posterpräsentationen

    • Zehner, F., Zesch, T., & Horbach, A. (2023a, Februar 28–März 2). Mehr als nur Technologie- und Fairnessfrage: Ethische Prinzipien beim automatischen Bewerten von Textantworten aus Tests [Paper Presentation]. 10th GEBF Annual conference, Universität Duisburg-Essen.
    • Zehner, F., Zesch, T., & Horbach, A. (2023b, Februar 28–März 2). To Score or Not to Score? Machbarkeits- und Performanzfaktoren für automatisches Scoring von Textantworten [Paper Presentation]. 10th GEBF Annual conference, Universität Duisburg-Essen.

    2022

    Konferenzbeiträge

    • Bexte, M., Horbach, A., & Zesch, T. (2022). Similarity-Based Content Scoring - How to Make S-BERT Keep Up With BERT. Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2022), 118–123. https://aclanthology.org/2022.bea-1.16
    • Bexte, M., Laarmann-Quante, R., Horbach, A., & Zesch, T. (2022). LeSpell - A Multi-Lingual Benchmark Corpus of Spelling Errors to Develop Spellchecking Methods for Learner Language. Proceedings of the Language Resources and Evaluation Conference, 697–706. https://aclanthology.org/2022.lrec-1.73
    • Ding, Y., Bexte, M., & Horbach, A. (2022). Don’t Drop the Topic - The Role of the Prompt in Argument Identification in Student Writing. Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2022), 124–133. https://aclanthology.org/2022.bea-1.17
    • Horbach, A., Laarmann-Quante, R., Liebenow, L., Jansen, T., Keller, S., Meyer, J., Zesch, T., & Fleckenstein, J. (2022). Bringing Automatic Scoring into the Classroom–Measuring the Impact of Automated Analytic Feedback on Student Writing Performance. Swedish Language Technology Conference and NLP4CALL, 72–83. https://ecp.ep.liu.se/index.php/sltc/article/view/580/550
    • Laarmann-Quante, R., Schwarz, L., Horbach, A., & Zesch, T. (2022). ‘Meet me at the ribary’ – Acceptability of spelling variants in free-text answers to listening comprehension prompts. Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2022), 173–182. https://aclanthology.org/2022.bea-1.22

    Herausgeberschaften

    • Kochmar, E., Burstein, J., Horbach, A., Laarmann-Quante, R., Madnani, N., Tack, A., Yaneva, V., Yuan, Z., & Zesch, T. (Hrsg.). (2022). Proceedings of the 17th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2022). Association for Computational Linguistics. https://aclanthology.org/2022.bea-1.0

    Buchbeiträge

    • Horbach, A. (2022). Werkzeuge für die automatische Sprachanalyse. In M. Beißwenger, L. Lemnitzer, & C. Müller-Spitzer (Hrsg.), Forschen in der Linguistik. Eine Methodeneinführung für das Germanistik-Studium. Wilhelm Fink (UTB).

    2021

    Zeitschriftenartikel

    Konferenzbeiträge

    • Bexte, M., Horbach, A., & Zesch, T. (2021). Implicit Phenomena in Short-answer Scoring Data. Proceedings of the First Workshop on Understanding Implicit and Underspecified Language.
    • Haring, C., Lehmann, R., Horbach, A., & Zesch, T. (2021). C-Test Collector: A Proficiency Testing Application to Collect Training Data for C-Tests. Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications, 180–184. https://www.aclweb.org/anthology/2021.bea-1.19

    Herausgeberschaften

    • Burstein, J., Horbach, A., Kochmar, E., Laarmann-Quante, R., Leacock, C., Madnani, N., Pilán, I., Yannakoudakis, H., & Zesch, T. (Hrsg.). (2021). Proceedings of the 16th Workshop on Innovative Use of NLP for Building Educational Applications. Association for Computational Linguistics. https://www.aclweb.org/anthology/2021.bea-1.0

    2020

    Zeitschriftenartikel

    Konferenzbeiträge

    • Ding, Y., Horbach, A., Wang, H., Song, X., & Zesch, T. (2020). Chinese Content Scoring: Open-Access Datasets and Features on Different Segmentation Levels. Proceedings of the 1st conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing(AACL-IJCNLP 2020). https://www.aclweb.org/anthology/2020.aacl-main.37.pdf
    • Ding, Y., Riordan, B., Horbach, A., Cahill, A., & Zesch, T. (2020). Don’t take "nswvtnvakgxpm" for an answer - The surprising vulnerability of automatic content scoring systems to adversarial input. Proceedings of the 28th International Conference on Computational Linguistics(COLING 2020). https://www.aclweb.org/anthology/2020.coling-main.76.pdf
    • Horbach, A., Aldabe, I., Bexte, M., Lacalle, O. de, & Maritxalar, M. (2020). Appropriateness and Pedagogic Usefulness of Reading Comprehension Questions. Proceedings of the 12th International Conference on Language Resources and Evaluation (LREC-2020). https://www.aclweb.org/anthology/2020.lrec-1.217.pdf
Forschungszentrum CATALPA | 02.07.2024