Conference Agenda

Digitale Editionen gehören zum Kernbereich der Digital Humanities und stützen sich zunehmend auf technische Infrastrukturen wie das GAMS an der Universität Graz. Mit dem Aufkommen großer Sprachmodelle (LLMs) stellt sich die Frage, wie KI-gestützte Assistenzsysteme die Umsetzung von GAMS-Editionen sinnvoll unterstützen können – etwa bei der TEI-Kodierung, der Entwicklung von Datenmodellen oder von Interfaces.

Während der Mehrwert von KI-Systemen Gegenstand aktueller Forschung ist, ist der Wartungsaufwand von neuen infrastrukturellen Funktionalitäten unbestritten. Gerade im KI-Bereich sind jedoch instabile Standards, kurzlebige Dokumentationen und unsichere Rechtslagen weit verbreitet und drohen bei unvorsichtiger Einbindung eine Gefahr für die technische Nachhaltigkeit von DH-Infrastrukturen (wie dem GAMS) zu werden. Vorliegender Beitrag sucht den “technical debt sweet spot” zwischen spezifischer Eigenentwicklung und übergreifender Nachnutzung von KI-Assistenzsystemen im Falle von digitalen Editionen am GAMS.

This study examines to which extent and in which settings Large Language Models (LLMs) can be used to annotate the complex and multi-layered phenomenon of evaluations within literary texts. It uses a gold-standard annotation of German-language fictional narratives published between 1800 and 2015 and compares human annotator agreement to the agreement of LLMs with the gold-standard annotation. The study focuses on ChatGPT, Deepseek, and Llama Sauerkraut-LM using three different prompts and the major vote method. Our results indicate that although LLMs can identify literary evaluations to some degree, their reliability still falls short compared to human annotators. LLMs' performance varies widely across texts, linguistic modernity not being the decisive factor. Clause-level evaluations were more reliably detected by LLMs than noun phrase-level evaluations. The study advances our knowledge of the potential and limitations of LLMs for very complex tasks in the literary domain.

Menschliche Interpret*innen nehmen Stellen eines Textes nicht gleichmäßig wahr: Einigen Stellen wird größeres interpretatorisches Gewicht zugemessen als anderen, viele werden sogar kaum beachtet. Zur literaturwissenschaftlichen Interpretation gehört also die Frage der Stellenauswahl. Welche Teile eines Textes sind besonders relevant für die Interpretation des Textes als Ganzen? Über ungleiche Aufmerksamkeitsverteilung und die mehr oder weniger intensive literaturwissenschaftliche Befassung mit bestimmten Aspekten eines Textes wissen wir relativ wenig. Wir kombinieren in unserem Forschungsprojekt qualitative, literaturwissenschaftliche und quantitative, computationelle Methoden miteinander und untersuchen vor allem direkte Zitate. Die ‚Intensität‘ literaturwissenschaftlicher Interpretation zeigt sich am Umgang mit viel zitierten Stellen: Interpret*innen zitieren eine längere Stelle aus einem literarischen Text, um im Verlauf der Interpretation immer wieder auf diese Stelle wörtlich zitierend zurückzukommen; Interpretationsintensität zeigt sich hier in den Parametern Länge, Häufigkeit und Nachhaltigkeit der Zitate. Außerdem können wir automatisiert divers und homogen zitierte Stellen unterscheiden, die weitere Arten von Interpretationsintensität anzeigen.