Veranstaltungsprogramm
| Sitzung | ||
Session H: Künstliche Intelligenz
Chair: Dr. Christin Czaplicki | ||
| Präsentationen | ||
Lexikalisch verloren, semantisch gefunden: LLM-gestützte Suche auf der Grundlage von DDI-Metadaten Deutsches Zentrum für Hochschul- und Wissenschaftsforschung, Deutschland Damit Forschungsdaten für Forschende praktisch auffindbar sind, braucht es Suchsysteme, die Daten entlang konkreter Forschungsfragen zugänglich machen. Forschungsdatenzentren machen ihre Metadaten derzeit häufig mithilfe lexikalischer Suchmaschinen (z. B. Elasticsearch) durchsuchbar und liefern Ergebnisse auf Basis lexikalischer Übereinstimmungen. Das ermöglicht eine Volltextsuche und ein elaboriertes Relevanzranking der Suchergebnisse, hat jedoch den Nachteil, dass es keine semantisch relevanten Metadaten findet, wenn fachspezifische Konzepte oder Forschungsfragen nicht ausdrücklich in den Metadaten benannt sind. Dies ist ein Problem, da theoretische Konstrukte oft nur als latente Dimensionen hinter Messinstrumenten stehen und daher nicht in den Metadaten auftauchen. Eine Hoffnung ist, dass mit Hilfe von Large Language Models (LLMs) die semantische Durchsuchbarkeit der Daten verbessert werden kann, da LLMs Bedeutungsähnlichkeiten zwischen Suchanfragen und Metadaten erkennen können, auch wenn diese nicht über identische Begriffe ausgedrückt werden. In unserem Praxisvortrag zeigen wir anhand von Daten des FDZ-DZHW, wie mit einem LLM strukturierte Metadaten im DDI-Codebook-Standard durchsuchbar gemacht werden können und diskutieren die Vor- und Nachteile in Bezug auf den Rechenaufwand und die Qualität der Suchergebnisse im Vergleich zu einer lexikalischen Suchmaschine. KI-Policy für die Analyse sensibler Daten: Ein Erfahrungsbericht aus dem FDZ Bildung DIPF | Leibniz-Institut für Bildungsforschung und Bildungsinformation, Deutschland Generative KI eröffnet neue Chancen für die Analyse von Forschungsdaten. Dies zeigt sich etwa an Nutzungsanträgen für Unterrichtsvideos und Transkripte, die über das Forschungsdatenzentrum (FDZ) Bildung bereitgestellt werden. Allerdings sind KI-Anwendungen mit Risiken für Datenschutz und Urheberrecht verbunden, wie die De-Anonymisierung von Forschungsteilnehmenden oder das unkontrollierte Vervielfältigen der Daten. Das FDZ Bildung adressiert diese Chancen und Risiken in einer KI-Policy, die Bedingungen konkretisiert, unter denen im FDZ angebotenen Daten mittels KI-Anwendungen analysiert werden dürfen. Der Beitrag stellt Entwicklungsschritte hinter der KI-Policy des FDZ Bildung und deren Implikationen für andere Forschungsdatenzentren dar. Die Policy basiert auf Regelungen anderer Infrastrukturanbieter (z. B. des ICPSR), ist rechtlich geprüft und integriert Feedback von Forschenden auf dem Gebiet KI-gestützter Bildungsforschung. Die Policy adressiert urheber- und datenschutzrechtliche Aspekte der KI-gestützten Datennutzung. Sie verpflichtet Nutzende, Vorgaben zu Datenspeicherung, KI-Training und KI-Anbietern einzuhalten. Die Anforderungen variieren je nach der Sensibilität der Daten. Der Beitrag bietet praxisnahe Einblicke in die Überführung rechtlicher, ethischer und organisatorischer Anforderungen in handlungsleitende Regeln. So wird gezeigt, wie diese Erfahrungen auf andere Dateninfrastrukturen übertragen werden können. KI‑gestützte Synthetisierung sensibler Daten für evidenzbasierte Politik 1Potsdam-Institut für Klimafolgenforschung (PIK); 2Institut für Kulturwissenschaft, Humboldt-Universität zu Berlin Mit einer synthetischen Bevölkerung für Deutschland präsentieren wir den Einsatz generativer KI zur Synthetisierung sensibler Daten. Ausgangspunkt ist ein Vergleich verschiedener generativer Modelle (u. a. tabellarische GANs, VAEs) hinsichtlich Datenqualität, Nutzbarkeit und Datenschutz. Wir diskutieren praxisnahe Verfahren zur Qualitätsmessung (statistische Ähnlichkeit, multivariate Verteilungen, Downstream-Analysen) sowie zur Absicherung von Datenschutz und Re-Identifikationsrisiken. Die auf Basis der Einkommens- und Verbraucherstichprobe (EVS) und des Zensus erstellte synthetische Bevölkerung enthält Daten zu den sozioökonomischen Attributen von 40 Millionen deutschen Haushalten, darunter die soziodemografischen Merkmale ihrer Mitglieder, ihre Wohnung, ihr Einkommen und ihre Ausgaben. Der Beitrag zeigt, wie KI in Dateninfrastrukturen eingesetzt werden kann, um Forschung und evidenzbasierte Politik zu unterstützen, ohne die Vertraulichkeit zu gefährden. Am Beispiel der Wärmewende lässt sich mithilfe dieser hochauflösenden Daten identifizieren, welche Haushalte besondere Unterstützung benötigen und in welchen Gebieten eine Förderung aufgrund des Gebäudebestands oder der ökonomischen Situation weniger effektiv wäre. Das Multi-Item Scales Project: Eine KI-gestützte Forschungsinfrastruktur für Messskalen Universität Hamburg, Deutschland Validierte Messinstrumente sind eine zentrale Grundlage empirischer Forschung in den Sozial- und Wirtschaftswissenschaften. Dennoch sind Informationen zu Skalen, etwa Item-Formulierungen, bislang fragmentiert, uneinheitlich dokumentiert und nur mit erheblichem Aufwand zugänglich. Dies erschwert Transparenz, Reproduzierbarkeit und die nachhaltige Nutzung dieser Skalen. Dieser Beitrag stellt das Multi-Item Scales Project vor, eine daten- und KI-gestützte Forschungsinfrastruktur zur systematischen Erfassung, Strukturierung und Analyse von Messskalen. Auf Basis einer umfangreichen Datengrundlage mit mehreren tausend Skalen wurden mithilfe eines speziell entwickelten KI-Parsers Item-Formulierungen, Metadaten, Reliabilitäts- und Validitätsinformationen sowie bibliografische Angaben automatisiert extrahiert und in einer einheitlichen, maschinenlesbaren Datenstruktur zusammengeführt. Die resultierende Datenbank ermöglicht erstmals einen standardisierten, durchsuchbaren Zugang zu diesen Messinstrumenten. Über die Bereitstellung der Infrastruktur hinaus eröffnet das Projekt neue Möglichkeiten für die Forschung. Bibliometrische, semantische und psychometrische Analysen erlauben es, die Entwicklung von Konstrukten über Zeit, konzeptionelle Überlappungen, Redundanzen sowie methodische Trends systematisch zu untersuchen. Ergänzende KI-Tools unterstützen die kontinuierliche Erweiterung der Datenbasis, die Vergleichbarkeit bestehender Instrumente und frühe Phasen der Skalenentwicklung. | ||