Abschlussarbeit

Beschreibung

Abstrakte Argumentation [4] ist ein Formalismus zur Modellierung und Analyse argumentativer Szenarien. Hierbei werden Argumentationsszenarien als gerichtete Graphen repräsentiert. In einem Argumentationsgraphen werden Argumente als Knoten dargestellt, während gerichtete Kanten Angriffe zwischen Argumenten repräsentieren. Eine wesentliche Fragestellung besteht darin, diejenigen Argumente oder Mengen von Argumenten zu bestimmen, die gemeinsam ak- zeptiert werden können und damit als Lösung des Argumentationsproblems angesehen werden können. Solche Mengen werden Extensionen genannt.

Welche Argumente gemeinsam akzeptiert werden können, wird durch verschiedene Semantiken definiert [1]. Typische Problemstellungen in diesem Kontext sind die Bestimmung einer Extension, aller Extensionen oder die skeptische und leichtgläubige Akzeptanz von Argumenten unter einer gegebenen Semantik. Ein Argument wird skeptisch bzw. leichtgläubig akzeptiert, wenn es in allen bzw. in mindestens einer Extension enthalten ist. Die Lösung dieser Probleme ist im Allgemeinen sehr rechenintensiv, weshalb neben exakten Lösungsverfahren auch heuristische und lernbasierte Verfahren untersucht werden [7].

Angesichts des großen Erfolgs von Large Language Models (LLMs) in vielen verschiedenen Bereichen wie der natürlichen Sprachverarbeitung, der Codegenerierung und mathematischen Benchmarks [2, 3, 5] stellt sich die Frage, ob und in welchem Maße LLMs ebenfalls in der Lage sind, Problemstellungen der abstrakten Argumentation zu lösen. Erste Arbeiten deuten darauf hin, dass beispielsweise die Bestimmung von Extensionen eine anspruchsvolle Aufgabe für LLMs darstellt [6].

Ziel dieser Arbeit ist eine umfassende empirische Untersuchung der Frage, ob und in welchem Maße LLMs Probleme der abstrakten Argumentation lösen können. Dafür sollen unterschiedliche Problemstellungen betrachtet werden, insbesondere die Vorhersage der Akzeptanz einzelner Argumente sowie die Vorhersage einzelner oder aller Extensionen eines gegebenen Argumentationsgraphen bezüglich verschiedener Semantiken. Als Grundlage können sowohl synthetisch generierte Instanzen als auch etablierte Benchmarks dienen, wie sie etwa im Rahmen der International Competition on Computational Models of Argumentation (ICCMA) 1 verwendet werden.

Ein besonderer Fokus der Arbeit liegt auf der Frage, welche Eigenschaften eines Argumentationsgraphen die Leistungsfähigkeit von LLMs beeinflussen. Dazu sollen verschiedene Datensätze bezüglich Merkmalen wie Anzahl der Argumente, Anzahl der Angriffe, Dichte, Zyklen,oder Anzahl der resultierenden Extensionen analysiert werden. Auf diese Weise soll untersucht werden, ob bestimmte Klassen von Argumentationsgraphen für LLMs besonders schwierig sind und ob sich typische Fehlermuster identifizieren lassen. Ergänzend sollen verschiedene Prompting-Strategien verglichen werden, wie beispielsweise One-Shot- und Few-Shot-Prompting.

Darüber hinaus soll untersucht werden, welchen Einfluss die Repräsentation des Argumentationsproblems auf die Performanz der Modelle hat. Ein und derselbe Argumentationsgraph kann dem LLM beispielsweise als Kantenliste, Adjazenzmatrix oder natürlichsprachliches Szenario präsentiert werden. Dadurch lässt sich prüfen, ob LLMs sensibel für die Repräsentation des Problems sind und ob es eine bevorzugte Form der Darstellung gibt.

Literatur

[1] Pietro Baroni, Martin Caminada, and Massimiliano Giacomin. Abstract argumentation frameworks and their semantics. In Pietro Baroni, Dov Gabbay, Massimiliano Giacomin, and Leendert van der Torre, editors, Handbook of Formal Argumentation, pages 159–236. College Publications, 2018.

[2] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Praful- la Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhi- ni Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, volu- me 33, pages 1877–1901, 2020. URL https://proceedings.neurips.cc/paper/2020/hash/ 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html.

[3] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.

[4] Phan Minh Dung. On the acceptability of arguments and its fundamental role in nonmonotonic reasoning, logic programming and n-person games. Artificial Intelligence, 77(2):321–357, 1995. doi: 10.1016/0004-3702(94)00041-X. URL https://doi.org/10.1016/0004-3702(94) 00041-X.

[5] Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, and Jacob Steinhardt. Measuring mathematical problem solving with the math dataset. arXiv preprint arXiv:2103.03874, 2021.

[6] Zhaoqun Li, Xiaotong Fang, Chen Chen, Mengze Li, and Beishui Liao. Enhancing conflict resolution in language models via abstract argumentation, 2024. URL https://arxiv.org/ abs/2412.16725. Version 2 revised in 2025.

[7] Matthias Thimm. Heuristic algorithms for credulous and sceptical reasoning problems in abstract argumentation. Journal of Logic and Computation, 35(5):exaf038, 07 2025. ISSN 0955- 792X. doi: 10.1093/logcom/exaf038. URL https://doi.org/10.1093/logcom/exaf038.