The German Centre for Rail Traffic Research (DZSF) is pioneering an innovative machine learning project aimed at automating the identification of railway infrastructure elements, with a particular emphasis on noise barrier walls. This project holds significant implications for various stakeholders, including emergency management and regulatory bodies, due to its potential to enhance noise propagation modelling and infrastructure maintenance.

At the heart of this endeavour is the challenge of dealing with diverse and often inconsistent data qualities and formats. To address this, the project integrates various data sources, including Digital Orthophotos, Digital Terrain Models, and Digital Surface Models. This integration facilitates the creation of a multichannel representation of the railway surroundings, providing a more detailed and accurate picture than any single data source could offer. This approach is crucial for precise object detection and is anticipated to set a precedent for future projects in similar domains.

The project focuses on the Fine-Tuning Prompts for Segment Anything Models, leveraging the zero-shot capabilities of the Segment Anything (SAM) model. SAM's versatility in segmenting a wide range of objects is harnessed through fine-tuning for each semantic class in the dataset. This approach aims to enhance the model's accuracy in identifying specific infrastructure elements along railway tracks. Preliminary theoretical evaluations suggest that fine-tuning prompts for SAM models deliver promising results. However, ongoing empirical validation is necessary to substantiate these initial findings. This project not only aims to develop a robust system for automated infrastructure detection along rail tracks but also contributes significantly to addressing challenges in machine learning, particularly concerning data variability and distribution shift. The insights gained from this research have the potential to impact broader applications beyond rail infrastructure, enhancing the safety and efficiency of critical systems worldwide.

(i) Motivation

Die Nutzung und die Eigenschaften von Flächen im Umfeld des Verkehrsträgers Schiene sowie deren zeitliche Änderung sind für verschiedene behördliche Überwachungsaufgaben relevant: Dies betrifft u. a. die Vollzugskontrolle von naturschutzrechtlichen Ausgleichs- und Ersatzmaßnahmen, welche im Rahmen von Planfeststellungsverfahren für genehmigungspflichtige (Aus-)Bauprojekte im Schienenverkehrssektor festgestellt werden. Der Herstellungs- und Pflegezustand dieser Kompensationsmaßnahmen im Bundesgebiet soll in einem ersten Anwendungsfall mittels Fernerkundungsdaten überwacht werden. Zu den Maßnahmen gehören insbesondere die Anlage und Wiederherstellung von Gehölzstrukturen sowie die Rekultivierung und Extensivierung von Grünland.

Ein weiterer Anwendungsfall liegt in der Überwachung und Analyse der Nutzung von Strecken und Serviceeinrichtungen entlang der Eisenbahninfrastruktur im Rahmen von Stilllegungsverfahren. Das Eisenbahn-Bundesamt (EBA) muss bei Antrag auf Stilllegung einerseits die Nutzung, andererseits die Pflege und Unterhaltung von Strecken und Serviceeinrichtungen überprüfen. Die Detektion von Fahrzeugen im Gleis ist ein klarer Indikator für eine andauernde Nutzung der Infrastruktur. Veränderungen im Gleisbett und überwachsende Vegetation sind hingegen Indizien dafür, dass die entsprechende Serviceeinrichtung unzureichend gepflegt und instandgehalten wird.

(ii) Methodik

Für die beiden Anwendungsfälle werden Satellitenbild-Zeitreihen des europäischen Copernicus Programms genutzt, welche auf CODE-DE für Deutschland vorprozessiert werden und flächendeckend zur Verfügung stehen. Die cloudbasierte Prozessierungsumgebung ermöglicht die Einrichtung von sogenannten Copernicus Diensten und somit hoch effiziente und automatisierte Flächenkontrollen für Behörden.

Für den ersten Anwendungsfall werden Daten der Sentinel-2 Mission verwendet. Die multispektralen Sensoren der Erdbeobachtungssatelliten Sentinel-2A und 2B (Start: 2015) geben in circa sechstägigem Abstand Aufschluss über den Chlorophyllgehalt von Oberflächen. Über die Ableitung von jahresübergreifenden Vegetationstrends kann entsprechend ein Großteil von naturschutzrechtlichen Ausgleichs- und Ersatzmaßnahmen im Kontext der Begrünung und Gehölzpflanzung kontrolliert werden. Dazu gehören u. a. das Anlegen von Gras- und Staudenfluren aber auch von Streuobstwiesen, Hecken und Grünland. Die Herausforderungen bei der Algorithmusentwicklung liegen hierbei in der Größe der Prüfgeometrien und der Länge des Prüfzeitraums.

Für den zweiten Anwendungsfall werden Daten der SAR-Satelliten Sentinel-1A und 1B (Start: 2014) genutzt, um abgestellte Züge auf stillgelegten Gleisen automatisiert zu detektieren. Für die Algorithmusentwicklung wird der Effekt des verstärkten RADAR-Rückstreusignals bei Metallobjekten genutzt, welches eine sichere Unterscheidung von Zügen zum Gleisbett erlaubt. Somit ist eine verbesserte Abschätzung zur Nutzungsaktivität im Turnus von sechs Tagen auf den teilweise weit verstreuten Prüfflächen möglich. Die Herausforderungen liegen dabei in der radiometrischen Korrektur der Einzelszenen, welche zu Ungenauigkeiten oder Fehlern in der Klassifikation führen kann.

(iii) Ergebnisse

Referenzdatensätze der Deutschen Bahn und des EBA bilden die Basis für die Algorithmusentwicklung. Wir präsentieren unsere Samplingstrategie und Ergebnisse, die die Stärken der Sentinel-Daten für die beiden Anwendungsfälle demonstrieren sollen.

Über einen im Rahmen des Projekts entwickelten webbasierten Demonstrator wird ein Dienst zur Detektion von bahnspezifischen Flächeneigenschaften und Nutzungsänderungen auf der Plattform CODE-DE implementiert und somit einem breiten Nutzerkreis verfügbar gemacht. Wir präsentieren daher auch eine Möglichkeit der grafischen Benutzeroberfläche für Behörden auf Basis des bereits existierenden Copernicus Dienstes timeStamp.

1 Motivation

In Europe, the management of pipeline infrastructure relies on crewed helicopter surveillance, renowned for its reliability in the detection of third-party inferences, like undeclared construction activities. However, the expansion of pipeline networks and the introduction of new substances like hydrogen and carbon dioxide, requires reevaluating traditional practices. The challenges of scalability and the environmental ramifications of helicopter emissions become increasingly relevant. In this context, modern remote sensing platforms and data analysis using artificial intelligence are emerging as paths to overcome these challenges. This work is about the journey of bringing research results into commercial application and the challenges that arise while taking flight.

2 Investigation

The foundations for this work were laid by the DVGW (German Association for Gas and Water) and nine member transmission system operators between 2018 and 2022. (Kröger, K. & Schütz, J., 2022; Weber, I. & Bongartz, J., 2022) With the intent to investigate the digitalization of pipeline monitoring, airborne cameras and AI were utilized while focusing on deep learning and computer vision technologies.

Building on these foundations and promising results, Open Grid Europe and Thyssengas, two of the participating transport system operators, initiated a joint venture to bring the research results into practice. While the technical feasibility has been shown, implementing a solution suitable to cover tens of thousands of pipeline kilometers requires focusing on aspects that are not of utmost importance in a lab setting.

The methodology involved a comprehensive investigation into selecting suitable platforms, with drones and satellites each presenting unique technological (e.g., reliability) and regulatory (e.g., flight permits) limitations. The work also delved into the identification of sensor technology capable of meeting surveillance demands, e.g., the trade-off between ground sampling distance and the amount of data to be handled and transferred. Overcoming domain-specific and commercial data scarcities and identifying reliable data annotation processes were also topics of relevance. Furthermore, bringing an AI system from a well-defined lab setting into an open-world situation also required careful definition of the outputs (e.g., classes and situations to be identified). The topic of organizational and cultural mindset shifts are integral to this transition as well. This also includes working on proactive standardization efforts to enable the use of modern surveillance technologies in the highly regulated and controlled world of pipeline operations.

3 Results

Key milestones achieved include advancements in sensor technology integration and data management. Limiting the scope initially by feasibility and designing a plan for the introduction and transition process that also required expectation management were also part of this work. The incorporation of user perspectives in system and process design, e.g., on UX, UI, and integration, is a crucial step forward in this work that also required a rethinking of existing solutions. Managing cultural issues was also an integral part of this work.

In conclusion, this work illustrates the dynamic journey of implementing state-of-the-art remote sensing technologies in pipeline surveillance. The holistic approach shown here, addressing regulatory, organizational, technological, and user-centric challenges, might also hold insights for other domains as well.

German seaports have approximately 3,000 km of quay walls and 2,500 facilities. As a matter of fact, many of these facilities are in poor condition, according to the Federal Waterways Engineering and Research Institute. As a result, it has become an urgent necessity to inspect such port infrastructures. In this paper, we present an inspection framework that deals with such kind of port infrastructures. The framework provides innovative methods and procedures that involve IoT-based measurements and AI technologies. This enables the use of structured datasets, namely terrestrial and drone-based images, in a fully digital process for inspection purposes. The framework emphasises automation, including the following steps: flight planning and image capturing, image orientation, and evaluating visible damages on infrastructure surfaces. All steps are being achieved within the joint research project port_AI funded by BMDV.