Rozwój dużych modeli generatywnych (LLM) uwypuklił problem deficytu danych dla niskozasobowych odmian językowych (low-resource languages). W wystąpieniu dokumentujemy proces budowy specjalistycznych zasobów dla lektu mazurskiego w ramach projektu infrastrukturalnego CLARIN-PL-BIZ-Bis (CLARIN-PL). Celem podjętych prac jest nie tylko ocalenie dziedzictwa językowego, ale przede wszystkim stworzenie rzetelnej platformy testowej i ewaluacyjnej dla nowoczesnych technologii językowych.

Istotą prezentowanego przez nas rozwiązania jest techniczny potok przetwarzania danych (data pipeline), obejmujący unikatową, czterostopniową transformację tekstów (zarówno drukowanych, jak i transkrypcji mowy):

- Zbiór surowy (zachowanie oryginalnej pisowni i artefaktów zapisu);

- Zbiór ujednolicony (normalizacja wewnątrz zbioru w celu eliminacji szumu ortograficznego);

- Zbiór normatywny (pełna korekta merytoryczna uwzględniająca systemowe cechy lektu mazurskiego);

- Zbiór translacyjny(równoległe tłumaczenie na język polski standardowy).

Efektem końcowym będą zbiory dwujęzyczne zrównoleglone w standardzie TMX, wzbogacone o pełną anotację morfologiczną i zaimplementowane w systemie KonText. Podczas wystąpienia omówimy również rolę wydzielonej części tych zasobów jako benchmarków w ewaluacji wydajności modeli LLM (w zakresie NLU). Przygotowane wielowariantywne dane mogą znaleźć zastosowanie do analizy progów jakościowych danych w uczeniu transferowym (transfer learning) na polskich danych tekstowych.