Conference Agenda

Vision-Language-Models (VLMs) wie CLIP verknüpfen sprachliche und visuelle Informationen; sie werden deswegen zunehmend auch in der kunsthistorischen Bildanalyse eingesetzt. Trotz ihres Potenzials bleiben ihre internen Entscheidungsprozesse intransparent – insbesondere in domänenspezifischen Kontexten mit komplexen ikonografischen Inhalten. Dieser Beitrag untersucht, inwiefern Methoden der Explainable Artificial Intelligence (XAI) zur visuellen Erklärbarkeit solcher Modelle beitragen können. Anhand zweier Fallstudien werden sieben Erklärverfahren hinsichtlich ihrer Fähigkeit zur Objekterkennung und -lokalisierung in kunsthistorischem Bildmaterial evaluiert. Während CLIP Surgery, LeGrad und ScoreCAM in quantitativen Tests und einer Online-Studie mit 33 Teilnehmenden die besten Ergebnisse erzielten, zeigen sich bei abstrakten Konzepten wie „Sphinx“ oder „lustful“ jedoch klare Grenzen der Modellinterpretation. Die Ergebnisse belegen die Relevanz qualitativ-empirischer Evaluierungen für die Erschließung domänenspezifischer Erklärbarkeit – und die Notwendigkeit, VLMs durch kunsthistorisches Wissen zu ergänzen.

Der Beitrag beschreibt die Entwicklung des Systems PortApp, das als App für Smartphones eine konfigurierbare Suche in druckgraphische Porträts implementiert. Damit kann in der digitalisierten Porträtsammlung der Herzog-August Bibliothek gesucht werden. PortApp bietet eine Ähnlichkeitssuche innerhalb des Bestands und die Suche mit von den Nutzenden hochgeladenem Bildmaterial. Der Beitrag geht kurz auf die Kollektion ein und zeigt dann die Funktionsweise von PortApp aus Nutzersicht. Ebenso wird das Training eines Modells auf Basis eines Visual Transformers beschrieben.

Literatur für Kinder und Jugendliche, das ist Literatur in Text und Bild. Entsprechend weisen retrodigitale Kinder- und Jugendbuchsammlungen u.a. illustrierte Cover, Einschaltbilder und Bildtafeln auf. In den Analysen der Digital Humanities spielten diese aber bisher nur eine marginale Rolle. Dabei transportiert das Medium Bild neben Sachwissen kulturelle und ästhetische Normen und Werte. Es repräsentiert u.a. Konzepte von Kindheit, die von gesellschaftlichen Vorstellungen geprägt sind. So formt es beispielsweise verschiedene Kindheitsbilder wie des lesenden, lernenden oder spielenden Kindes.

Das Projekt "Buchkindheiten digital" analysiert historische Buchillustrationen über eine Zeitspanne von über 100 Jahren hinsichtlich der visuellen Konstruktion von Kindheit mit Methoden aus dem Bereich multimodaler Deep Learning-Modelle. Für die semantische Bildsuche in der Sammlung Colibri wurde hierfür das Tool "Suchkind" entwickelt. Es kombiniert CLIP-basierte multimodale Embedding-Modelle mit einer domänenspezifischen Szenenannotation. Neben der Vorstellung der Suchmaske Suchkind werden im Vortrag die Potenziale und Herausforderungen der automatischen Szenenanalyse in einer umfänglichen digitalen Text-Bild-Sammlung aufgezeigt.