Georeferenzierung von Messdaten aus dem kinematischen Laserscanning setzt voraus, dass die Trajektorie der sich bewegenden Messplattform und die relative Orientierung zwischen Plattform und Sensoren bekannt sind. Auch wenn keine absolute Positionierung (also keine Georeferenzierung im eigentlichen Sinne) angestrebt oder möglich ist, ist zumindest die relative Trajektorie der Sensorplattform bezüglich eines lokalen kartesischen Koordinatensystems notwendig, um die Laserscanner-Messdaten, welche vorerst als Winkel und Distanz vorliegen, in dieses Koordinatensystem überzuführen. Zur Bestimmung der Trajektorie gibt es verschiedene Zugänge abhängig von der Anwendung, den verwendeten Sensoren und den Anforderungen an die Daten selbst. Der klassische Zugang für kinematisches Laserscanning (mobil, MLS oder airborne, ALS) im Kontext der Vermessung setzt die Verwendung hochwertiger und teurer Navigationskomponenten voraus, konkret IMU (inertiale Messeinheit) und GNSS (Global Satellite Navigation System). Daten dieser Sensoren werden mittels Kalman Filter fusioniert, wobei die IMU für höherfrequente Trajektoriendynamik und GNSS für langfristige und absolute Positionierung verantwortlich ist. In einem Streifenausgleich wird diese Trajektorie dann durch Minimierung von Diskrepanzen in Überlappungsbereichen der Laserpunktwolke sowie ggf. Kontrollinformation verbessert, um zu einer möglichst genauen und konsistenten Punktwolke zu kommen. In den letzten Jahren hat es zur Trajektorienschätzung vermehrt Entwicklungen aus anderen wissenschaftlichen Fachbereichen, besonders der Robotik und dem autonomen Fahren, gegeben. Das betrifft einerseits die Hardware, wo durch technischen Fortschritt immer mehr kostengünstige und vielseitige Sensoren verfügbar sind, und andererseits die Integrationsmethodik selbst. Bei Letzterem geht der Trend weg von filterbasierten Integrationsansätzen und hin zu ausgleichs- bzw. optimierungsbasierten Ansätzen, in welchen Daten aller Sensoren gemeinsam ganzheitlich und rigoros ausgeglichen werden. Sensorik sowie Methodik aus diesen Gebieten werden teilweise auch bereits für klassische Navigations- bzw. Vermessungszwecke angewendet. In diesem Beitrag wollen wir die Unterschiede und Gemeinsamkeiten (a) der verwendeten Sensoren, mit Fokus auf Laserscanning und IMU/GNSS als unterstützende Komponenten, und (b) der verwendeten Integrationsmethoden (Kalman Filter, Streifenausgleich, ganzheitlicher Ausgleich, Simultaneous Localization and Mapping) beleuchten. Ausgehend von einem theoretischen Formalismus der versucht, die gängigen Sensoren und Methodiken einheitlich zu behandeln, wird einerseits die Theorie der verschiedenen Zugange vorgestellt und andererseits die Flexibilität einer solchen allgemeinen Beschreibung anhand einer bestehenden Implementierung demonstriert. Dafür kommt ein Mobile Mapping System basierend auf einem terrestrischen Laserscanner zum Einsatz. Dieser ist bereits mit allen notwendigen Komponenten (LiDAR, IMU, GNSS) ausgestattet und kann bzgl. Systemaufbau zwischen klassischem Mobile Mapping (hochwertiger und hochgenauer Laserscanner) und Robotikanwendungen (3D Scan, vergleichsweise kostengünstige IMU und GNSS) eingeordnet werden. Anhand dieses Systems analysieren wir verschiedene Sensorintegrationskombinationen (GNSS und IMU, IMU und LiDAR, GNSS und IMU und LiDAR) sowie Integrationsmethodiken (Kalman Filter und Streifenausgleich, ganzheitlicher Ausgleich, SLAM) und vergleichen die Ergebnisse mit den theoretischen Erwartungen.

In diesem Beitrag stellen wir eine Machbarkeitsstudie für die Dokumentation von Holzoberflächen mit verschiedenen 3D-Bildgebungsverfahren und erste Ergebnisse der Erkennung von Ästen aus verschiedenen Datenquellen vor. Die Machbarkeitsstudie liefert eine wissenschaftliche Grundlage für die Entwicklung eines Verfahrens zur automatischen Stabilitätsanalyse von verbautem historischem Holz anhand von erkannten Oberflächenmerkmalen.

In dieser Arbeit diskutieren und vergleichen wir verschiedene Input-Sampling-Techniken für 3D-Punktwolken, die mit Deep-Learning-Methoden semantisch segmentiert werden.
3D-Punktwolken sind in Geographischen Informationssystemen (GIS) und raumbezogenen Anwendungen weit verbreitet und können entweder direkt oder zur Ableitung von Mesh-basierten 3D-Modellen verwendet werden. Für Anwendungen wie virtuelle 3D-Stadtmodelle, Building Information Models (BIM), Stadtplanung oder autonomes Fahren spielt die semantische Segmentierung von 3D-Punktwolken eine grundlegende Rolle. Sie basiert auf der Zuordnung jedes Punktes einer 3D-Punktwolke zu einer Objektkategorie. Hierfür werden zunehmend Deep-Learning-Ansätze (DL) eingesetzt, die Punktwolken direkt, d.h. ohne voxel- oder bildbasierte Zwischendarstellungen verarbeiten können, um Informationsverluste, Konvertierungsartefakte und höhere Rechenkosten zu vermeiden.

3D-Punktwolken enthalten typischerweise Millionen oder sogar Milliarden von Punkten. Aufgrund begrenzter Rechenressourcen basieren aktuelle DL-Segmentierungsansätze auf der Unterteilung großer Punktwolken in kleinere (Subsampling), der Reduzierung der Punktwolkendichte (Downsampling) oder einer Kombination aus beidem (Subsampling gefolgt von Downsampling).

In GIS- und Geodatenanwendungen reicht die Größe der relevanten Objekte in der Regel vom Zentimeterbereich (z. B. in Innenräumen) bis zu mehreren Dutzend Metern (z. B. in Außenbereichen). Ein naiver Ansatz für das Subsampling und Downsampling der ursprünglichen Punktwolken bestünde darin, Ausschnitte der 3D-Punktwolken zu erzeugen, die groß genug sind, um jedes Zielobjekt mit einem möglichst geringen Downsampling abzudecken. Bei diesem Ansatz können die erzeugten Ausschnitte jedoch immer noch hunderttausende Punkte enthalten. Die Verarbeitung von 3D-Punktwolken dieser Größe mit DL-Modellen erfordert jedoch Rechenressourcen, die insbesondere für eingebettete Systeme oder Echtzeitanwendungen in der Regel nicht zur Verfügung stehen. Selbst aktuelle Mittelklasse-GPUs verfügen nicht über genügend Speicher, um solche Datenmengen zu verarbeiten.

Daher ist die Input-Sampling-Technik kritisch. Gängige Ansätze für das Input-Sampling sind Random Sampling (RS), Farthest Point Sampling (FPS) und Grid Sampling (GS). Obwohl diese Ansätze weit verbreitet sind, ist nur wenig über die Auswirkungen der Input-Sampling-Techniken auf DL-basierte Pipelines zur Segmentierung von 3D-Punktwolken bekannt, sowohl in Bezug auf die Genauigkeit der DL-Modelle als auch hinsichtlich der Ausführungszeiten der Sampling-Methoden selbst. In diesem Beitrag vergleichen wir RS, FPS und GS als Input-Sampling-Techniken für die DL-basierte Segmentierung von 3D-Punktwolken. Dazu verwenden wir den öffentlich zugänglichen Paris-Lille-3D-Datensatz als Beispiel für Anwendungen der 3D-Punktwolkensegmentierung im Außenbereich.

Zunächst vergleichen wir die Laufzeiten aller Input-Sampling-Techniken für verschiedene Punktwolkengrößen und stellen signifikante Unterschiede zwischen den verschiedenen Ansätzen fest. Weiterhin wird der Einfluss der Input-Sampling-Techniken und der Punktwolkengröße auf die Segmentierungsgenauigkeit der DGCNN-Architektur, einer weit verbreiteten DL-Architektur, untersucht. Schließlich evaluieren wir die Segmentierungsergebnisse für verschiedene Objektkategorien in den Datensätzen (z. B. Gebäude, Bäume), da die Erkennung spezifischer Objekte für verschiedene Geodatenanwendungen von besonderem Interesse ist.

Bei der Produktion von Fahrzeugen der Premiumklasse werden höchste Anforderungen an das äußere Erscheinungsbild gesetzt, da selbst kleinste Fehler dem Kunden auffallen und die Wertigkeit des Produktes senken können. Da ein Auto äußerlich überwiegend aus umgeformten Blech besteht, muss über die gesamte Produktionskette hinweg auf eine Vielzahl von Qualitätsmerkmalen geachtet werden. Beginnend mit dem Presswerk, wo die Außenhautteile in ihrer Urform entstehen, über den Karosseriebau, bis hin zur Lackiererei, muss eine durchgängige und rückführbare Oberflächeninspektion gewährleistet sein. Nur so können Fehler frühzeitig erkannt, Gegenmaßnahmen ergriffen, und eine Datenbasis für eine datengetriebe Prozessverbesserung geschaffen werden.

Diese Inspektion unterteilt sich gegenwärtig oft in disjunke, teils sensorische und teils manuelle, Prüfungen. Grundlegend für das Fehlen einer automatischen, durchgehenden sensorischen Prüfung aller Bauteile sind die gegeben Randbedingungen wie: variable Lichtverhältnisse, Fließbandbewegungen, Umgebungsvibrationen, Bauteilbeölung, sowie die Verwendung unterschiedlicher Metalle unterschiedlicher Spekularität in derselben Presse. Hierdurch ist eine durchgehende, sensorisch vereinheitlichte, flächendeckende Qualitätsprüfung jedes produzierten Bauteils und eine darauf abgestimmte Prozesssteuerung noch nicht möglich. Abhilfe könnten hier neue hochpräzise Prüftechnologien schaffen, die jedoch noch keine schlüsselfertigen Lösungen für die gesamte Automobilproduktion darstellen.

Um einen Beitrag zu einer künftigen, prozessübergreifenden Oberflächendefekterkennung zu leisten wird im Rahmen eines Promotionsprojektes in Kooperation mit der BMW Group eine hybridisierte Lösung erarbeitet, bestehend aus einer physischen Inspektionsanlage und dazugehöriger Auswertemethode. Dabei besteht die Defekterkennung aus einer Detektion (binäre Entscheidung ob ein Defekt vorhanden ist), einer Lokalisation (Bestimmung des genauen Ortes) und einer Klassifikation (nach Typus und Schwere). Die zu detektierenden Oberflächendefekte lassen sich dabei vereinfacht in zwei Hauptkategorien unterteilen: geometrische und nicht-geometrische Defekte, für die jeweils ein gesonderter Technologiepfad nachgegangen wird mit anschließender Datenfusion.

Geometrische Defekte wie Beulen und Dellen äußern sich als örtliche (nicht-globale) Abweichungen vom nominellen Geometrieverlauf. Defekte dieser Klasse sind bei unlackierten (diffusen) Bauteilen beinahe unsichtbar, weshalb sie oft erst nach dem Lack detektierbar werden, was zu erheblichen Nacharbeits- und Ausschusskosten führen kann. Die Erkennung dieser Defekte geschieht mittels einer neuartigen Deflektometriemethode ("Lattitude Code Scanning Deflectometry") für lackierte Bauteile, wobei in Zukunft durch Infrarot diese Technik auf unlackierte Bauteile anwendbar gemacht wird. Letztere Klasse, die der nicht-geometrischen Defekte wie Kratzer und Kerben, verhalten sich umgekehrt. Sie sind im unlackierten Blech sichtbar, verschwinden aber teilweise nach dem Lack, sofern sie keine unmittelbaren Lackfehler verursachen. Trotz dieser potentiellen Überdeckung können sie zu späteren Problemen wie Korrosion führen. Die Erkennung solcher Defekte erfolgt parallel für nicht-lackierte Bauteile durch Aufnahme mit industriellen Kameras in Kombination mit einer innovativen Beleuchtungsquelle.

In diesem Beitrag wird der Status des Promotionsprojektes vorgestellt. Beginnend mit einer Diskussion der ausgewählten Technologien, wird der hybridisierte Ansatz aus breitengradkodierter Deflektometrie und Deep-Learning-unterstützte Bilderkennung erläutert. Daraufhin erfolgt die Vorstellung bisher erstellter Datensätze, sowie die damit durchgeführten Experimente. Eine statistische Auswertung dieser Ergebnisse samt Gegenüberstellung mit solchen von sensorischen Bestandslösungen erfolgt ebenfalls. Abschließend wird ein Ausblick in die bevorstehende Forschung zur deflektometrischer Oberflächeninspektion unlackierter Bauteile durch Infrarot-Breitengradkodierung vorgestellt und diskutiert, die den Forschungsschwerpunkt zum Lückenschluss bei der Oberflächenprüfung in frühen Produktionsphasen darstellen wird.