Forschungsprojekt IV DFG-Projekt Q+ASA

Allgemeines Vorhaben

Das DFG-Forschungsprojekt Q+ASA (02/26 – 02/27; Nr. GI1972/2-1) leistet einen Beitrag zur evidenzbasierten Untersuchung argumentativer Schreibkompetenzen und zur Weiterentwicklung computergestützter Analysen im Bildungskontext. Im Zentrum steht die Frage, wie sich argumentative Strukturen in Texten von Schüler:innen und Studierenden zuverlässig erfassen, analysieren und automatisiert auswerten lassen. Dabei verbindet das Projekt qualitative und quantitative Forschungsansätze mit aktuellen Verfahren des Argument Mining und des maschinellen Lernens.

Gegenwärtiger Stand des Projekts

Das Projekt basiert auf über 1000 bereits erhobenen Erörterungstexten von Schüler:innen der 9. Klassenstufe. Diese stammen größtenteils aus dem Forschungsprojekt I „Fair Debattieren und Erörtern“ und wurden in diesem Rahmen bereits holistisch und analytisch bewertet und so für das DFG-Projekt vorbereitet. 

Aufbauend darauf erfolgt im ersten Arbeitspaket die Annotation argumentativer Strukturen. Grundlage hierfür sind etablierte Annotationsschemata aus der Argumentationsforschung. Zudem werden geeignete Software-Tools für die graphische Annotation in Baumstrukturen evaluiert.

Im zweiten Arbeitspaket werden die annotierten Texte mithilfe qualitativer Strukturbaumanalysen untersucht. Ziel ist es, Zusammenhänge zwischen der Qualität argumentativer Strukturen und der allgemeinen Textqualität sichtbar zu machen. Dabei soll insbesondere analysiert werden, welche Merkmale kohärente und qualitativ hochwertige Argumentationen auszeichnen.

Das dritte Arbeitspaket widmet sich der Entwicklung eines Kompetenzstufenmodells für schriftliches Argumentieren. Hierzu werden quantitative Verfahren wie Faktoren- und Clusteranalysen eingesetzt, um unterschiedliche Kompetenzniveaus empirisch zu modellieren. Die Validierung des Modells erfolgt durch externe wissenschaftliche Begutachtung.

Im vierten Arbeitspaket steht schließlich das automatisierte Argument Mining im Mittelpunkt. Dafür werden verschiedene Sprachmodelle, darunter BERT-, RoBERTa- und frei zugängliche Large Language Models wie LLaMA, für Aufgaben wie Segmentierung, Klassifikation argumentativer Einheiten und die Vorhersage von support-/attack-Relationen trainiert und evaluiert. Besonderes Augenmerk liegt auf der Frage, wie gut sich Modelle auf neue Datensätze übertragen lassen.

Perspektivische Weiterarbeit

Langfristig soll das Projekt die Grundlage für ein mehrjähriges Anschlussvorhaben schaffen, in dem das entwickelte Analysetool und das evidenzbasierte Kompetenzstufenmodell gemeinsam mit Lehrkräften in schulischen Kontexten erprobt und weiterentwickelt werden.
Darüber hinaus soll die Forschung zur automatisierten Argumentationsanalyse vertieft werden. Insbesondere die Nutzung von Large Language Models für komplexe Aufgaben des Argument Mining bietet großes Potenzial für zukünftige Anwendungen in Forschung und Unterricht. Perspektivisch könnten dadurch Verfahren entstehen, die Lehrkräfte bei der Analyse argumentativer Texte unterstützen und neue Zugänge zur Förderung argumentativer Schreibkompetenzen eröffnen.