Veranstaltungsprogramm

<p>Große Sprachmodelle (Large Language Model – LLM) sind trotz massiver Weiterentwicklung der letzten Jahre mit tiefgreifenden technischen, gesellschaftlichen, rechtlichen, ökologischen und sicherheitsrelevanten Problemen behaftet. Die technischen Probleme wie <strong>Halluzinationen (vgl. Siebert, 2024), Schlussfolgerungsfehler und fehlender Realitätsbezug</strong> durch statistische Analyse von Texten und Antwortgenerierung können dabei die Ergebnisse prägen. Mit Retrieval-Augmented Generation (RAG) (vgl. Kiesel &amp; Wittmann, 2025) wird versucht, den Antwortraum zu spezifizieren und eine Wissensbasis für das System bereitzustellen. Mit vertieften Trainings der Modelle wird zudem versucht die Genauigkeit und Zuverlässigkeit der Sprachmodelle zu verbessern.</p>

<p>Im Vorhaben [Name des Vorhabens] wurde für die Optimierung und das Training der verwendeten Transformer Modelle (Bi- und Cross-Encoder) ein partizipativer Evaluationsansatz (vgl. Döring / Bortz, 2016 S. 1015) gewählt, um die Genauigkeit zu verbessern. Um die Wirksamkeit zu überprüfen wurde die Genauigkeit und Ranking Metrik wie NDCG@k (Normalized Discounted Cumulative Gain at k) des trainierten Modells anhand statistischer Analysen überprüft.</p>

<p>Ausgehend von den im Projekt zu bearbeitenden Fragestellungen, wird im geplanten Beitrag der technische Lösungsansatz (vgl. Abbildung 1) vorgestellt bei dem mittels Bi-Encoder und Cross-Encoder Modellen ein semantischer Vergleich von Nutzendeneingaben und standardisierten Kompetenz- und Fähigkeitsbeschreibungen der ESCO-Datenbank (vgl. Europäische Kommission, 2026) vorgenommen wird. </p>

<p>[Abbildung 1]</p>

<p>Mit Hilfe eines partizipativen Evaluationsansatz (vgl. Döring / Bortz, 2016 S. 1015.) wurde jede einzelne Rückmeldung des Systems individuell (durch die beteiligten Migrantinnen und Migranten) auf einer dreistufigen Skala mit Blick auf die Passfähigkeit (passt, passt teilweise, passt nicht) der eigenen Eingabe zur gefundenen standardisierten Beschreibung beurteilt. Die durch die Encoder induzierten Rückmeldungen der ESCO-Datenbank konnten dabei als teils sehr ungenau eingeordnet werden, was auf die Notwendigkeit eines Trainings für das verwendete Modell hinwies.</p>

<p>Nach dem Training des Bi- und Cross-Encoder Modells mittels der cosine similarity loss function (Pezzuti et al., 2025) sowie mean squared error loss (MSE) function und binary cross entropy loss (BCE) function konnten verbesserte statistische Werte für die semantische Zuordnung als auch für das Ranking der Vorschläge des trainierten gegenüber dem Basismodell gemessen werden.</p>

<p>Trotz der positiven Auswirkungen der partizipativen Evaluation bestehen an dieser Stelle methodische Optimierungsmöglichkeiten. Insbesondere hat die Befragungssprache – im vorliegenden Fall Deutsch – im Vergleich zur Muttersprache mgl. negative Einflüsse wie El-Menouar (2019) beschreibt.</p>

<p>Das genau Vorgehen und die Umsetzung sollen im geplanten Beitrag beschrieben werden.</p>