Conference Agenda
Overview and details of the sessions of this conference. Please select a date or location to show only sessions at that day or location. Please select a single session for detailed view (with abstracts and downloads if available).
|
Session Overview |
| Session | ||
Freitag 2:3: Freitag 2:3 – Multimodalität
| ||
| Presentations | ||
Transcribing the Untranscribable: Automating Recognition of Text and Image in Multimodal Medieval Manuscripts from Law to Divination Universität zu Köln, Deutschland The transcription of medieval manuscripts with non-linear, non-sequential layouts in multimodal sources is a challenge where traditional Handwritten Text Recognition fails. This paper presents a methodology using Multimodal Large Language Models (MLLMs) for a holistic analysis of both text and image. Through case studies on an illustrated legal text (Sachsenspiegel) and a manuscript belonging to the "sortes" genre, we demonstrate MLLM-centric workflows for knowledge extraction and transcription. Our methods use MLLMs to describe and link illustrations to text, and to segment, rotate, complex layouts to transcribe illegible text to standard systems. Weaving Together What Belonged Together: A Multimodal Approach to a Joint Database of Tocharian Texts and Kucha Murals 1Saxon Academy of Sciences in Leipzig; 2University of Vienna This paper presents a project that semantically links two historically intertwined but previously separate corpora: Tocharian Buddhist text and mural painting fragments from the kingdom of Kucha. By integrating the Comprehensive Edition of Tocharian Manuscripts (CEToM) and the Kucha Murals Information System (KMIS), we create the first bidirectional, queryable corpus of Buddhist visual and textual heritage from the Tarim Basin. Our approach is grounded in Linked Open Data principles, using SKOS-based ontologies to connect iconographic motifs, lexical items, and narrative structures across media. Case studies—including local adaptations of Jātaka tales and depictions of musical instruments—demonstrate how this multimodal integration enables new insights into religious transmission and cultural identity along the Silk Road. This project models how fragmentary cultural heritage can be reassembled through multimodal, semantic, and human-centered methods, offering new insights into Buddhist Central Asia and laying the foundation for a FAIR, ontology-driven infrastructure for future digital humanities research. Der Klang der Veden: Rezitationen vedischer Texte im VedaWeb 1Universität zu Köln; 2Universität Würzburg; 3Universität Freiburg; 4Bergische Universität Wuppertal Gegenstand des Beitrags ist die Erweiterung der VedaWeb-Plattform um Audioaufnahmen von Rezitationen vedischer Texte. Das VedaWeb ist eine webbasierte Plattform zur Erforschung altindischer Texte, die seit 2017 im Rahmen von zwei konsekutiven DFG-LIS-Projekten etabliert wurde. Während die bisher rein textuelle Repräsentation bereits Untersuchungen über verschiedene linguistische Ebenen hinweg ermöglichte, einschließlich Morphologie, Morpho-Syntax und Semantik, eröffnet die Integration von Tonaufnahmen der vedischen Texte zusätzliche Analyseebenen und Forschungsperspektiven. Im Mittelpunkt steht dabei die einzigartige, über 3000 Jahre zurückreichende Tradition der mündlichen Überlieferung des Vedischen, die zum immateriellen Weltkulturerbe der UNESCO zählt. Die vorgestellten Arbeiten verstehen sich dabei auch als Diskussionsbeitrag zur Frage nach dem Mehrwert multimodaler Daten für die linguistische und philologische Forschung. | ||
