Endoskopische Navigation in (Abwasser-) Rohrsystemen; Teilprojekt: Navigation und Mustererkennung
Förderkennzeichen: KF2325206GR4
Projektleiter: Dr. Olena Kuzmicheva

Die Reinigung und Inspektion von Abwasserrohren ist durch einen zweischrittigen Arbeitsablauf geprägt. Im ersten Schritt wird gereinigt und im zweiten Schritt wird, nach Trockenlegung der Rohre, mit Hilfe eines Kamerawagens inspiziert. Das bestehende Produkt "Sehende Nordseedüse" der Fa. cwTec erledigt dies in einem Schritt durch einen Spülkopf, in dem zusätzlich zu  den Reinigungsdüsen eine wasserdichte, hochrobuste analoge Kamera integriert ist. Dieses System ist manuell steuerbar und stellt analoge Videobilder bereit.

Ziel des Projektes EndoNaviScan ist es, eine teilautomatisierte Navigation durch ein Rohrsystem im Durchmesserbereich von 200-1200 mm bereitzustellen, potentielle Schäden automatisch zu erkennen, zu kartieren und somit dem Bediener die gezielte Inspektion von Schadstellen zu ermöglichen. Um bereits beim Einfahren und damit beim Reinigen des Rohrsystems die zurückgelegte Route präzise dokumentieren zu können, wird der Einsatz von Inertial Measurement Units (IMUs) innerhalb des Projektes untersucht. Erweitert um ein digitales Bildverarbeitungssystem zur Schadenserkennung wird das neue System es ermöglichen, Schäden zu erfassen, zu vermessen, zu lokalisieren und zu dokumentieren.

Bei der Betrachtung des Systems der „Sehenden „Nordseedüse“ kann der Prozessablauf durch folgende zentrale Aspekte beschrieben werden:

• Bewegung: Das System führt beim Vordringen in die Kanalisation gerichtete Bewegungen nach vorne und nach hinten aus. Abbiegevorgänge können durch Bewegungen nach links und rechts beschrieben werden.

• Rotation: Während des Prozesses rotiert der Spülkopf entlang der Kanalwandung. Da die Positionierung innerhalb des Kanals einen entscheidenden Einfluss auf Abbiegevorgänge nimmt, muss die Rotation mit nachgestellt werden.

• Wegmessung: Über die Länge des abgerollten Schlauches bzw. des abgerollten Kommunikationskabels ergibt sich die zurückgelegte Entfernung. Die Messung dieser Entfernung ist eine wichtige Eingangsgröße.

• Lokalisierung: Es wird davon ausgegangen, dass die möglichen Pfade durch exakte Pläne der Kanalisation zur Verfügung stehen. Durch die Kenntnis des Schachts, von dem aus der Prozess startet, ist die Startposition innerhalb des gegebenen Plans bekannt.

• Störungen: Der hohe Wasserdruck durch den Spülkopf, der direkte Kontakt zu der Kanalwandung sowie ruckartige Bewegungen während Abbiegevorgängen sorgen für starke Störungen möglicher Messgrößen. 

Der im Rahmen des Projektes umgesetzte Algorithmus basiert auf dem sogenannten „MapMatching“-Verfahren, das in [Sven16] vorgeschlagen wurde. Die Kombination von Richtungsänderungen mit Informationen, die aus einer Karte extrahiert werden können, lassen sich auf die Aufgabenstellung bei der Ortung der „Sehenden „Nordseedüse““ übertragen. Die Problematik über fehlende Informationen bezüglich des Startpunktes, der Bewegungsrichtung und der zurückgelegten Distanz ist bei dem betrachteten System nicht gegeben. Sowohl der Startpunkt als auch die Startrichtung können klar definiert werden. Über die abgerollte Schlauchlänge steht darüber hinaus ein Maß für die zurückgelegte Distanz zur Verfügung. 

[Sven16] 

Svensson, John: Investigation of Inertial Navigation for Localization in Underground Mines, Examsarbeit, 2015, URL: http://www.diva-portal.org/smash/get/diva2:881587/FULLTEXT01.pdf [Stand 14.7.2016].

[Löch16] 

Nicolai Löchel, „Entwicklung eines IMU-basierten Navigationssystems für Abwassersysteme“, Masterarbeit an der Universität Bremen, 2016

Es wurden im Rahmen des vorliegenden Projektes Methoden der digitalen Bildbearbeitung erforsch, die eine automatische Erkennung von möglichen Schäden ermöglichen.

Die Bearbeitung erfolgt Frameweise. Im ersten Schritt erfolgt die Erstklassifikation der Frames in nicht verwertbaren Frames (Nutzloses Bild), die z.B. aufgrund der Verschmutzung der Kameralinse keinerlei Nutzinformationen enthalten, und verwertbaren Frames (Nutzbild). Dies erfolgt unter dem Einsatz der Methoden des Maschinellen Lernens. Dafür wurde ein Verfahren implementiert, das auf Basis von HOG (Hystogram of oriented gradients) als Merkmal eine Klassifikation mit trainierter SVM (Support Vector Machine) vornimmt. Für das Training des vorgeschlagenen Klassifikators wurde das vorhandene Bildmaterial, das während der Reinigungsfahrten mit dem derzeitigen „Nordseedüse“-System aufgenommen wurde,  manuell in verwertbare  und nicht verwertbare Frames sortiert. Dazu wurden zunächst 120 Trainingsbilder ausgewählt und für das Training des Klassifikators verwendet. Anschließend wurde der Klassifikator mit Testbildern (je 40 Testframes pro Klasse: nicht verwertbares Bild / Nutzbild) geprüft. Dabei wurden 72% der Nutzbilder und 90% der nicht verwertbaren Bilder korrekt klassifiziert. Die Ergebnisse können im späteren Verlauf durch Berücksichtigung des zusätzlichen Bildmaterials weiter verbessert werden.

Im nächsten Schritt wird als Nutzbild klassifiziertes Frame weiterbearbeitet. Das Bild wird segmentiert und sogenannte ROIs (Regions of Interest) definiert, bei denen ein Verdacht auf mögliche Schäden vorliegt. Für die Segmentierung wurden mehrere Verfahren in Betracht gezogen. Es wurden zunächst die aus der Literaturrecherche bekannte Segmentierungsmethoden, die im Wesentlichen auf morphologischen Bildoperationen basieren [Sun06], [Tung14], [Tung11], angewendet  und getestet. Für Implementierung in der Demosoftware wurden „Top Hat Opening“ ‚ „Bottom Hat Closing“ sowie „Morphologische Segmentierung basieren auf Kantendetektion (MSED)“ ausgewählt. Um die Ergebnisse der morphologischen Segmentierung zu verbessern, wurde ein neues Verfahren, die sogenannte Schicht-Segmentierung (Layered Segmentation).

Die segmentierten verdächtigen Bereiche werden der weiteren Analyse unterzogen. Es wird dabei zwischen den Wasserspritzern und den defektverdächtigen ROIs unterschieden. Es wird davon ausgegangen, dass ggf. vorhandenen Defekte, betrachtet über mehrere aufeinanderfolgende Frames, die Position im Bild nur gering bzw. gar nicht verändern währen die Wasserspritzer hohe Dynamik aufweisen. Ausgehend von dieser Hypothese werden vom Frame zu Frame verschwindende ROIs als Spritzer klassifiziert und unter Einbezug eines speziell im Rahmen des Projektes entwickelten Algorithmus aus dem Bildmaterial entfernt. Es wird dabei davon ausgegangen, dass die Umgebung (Rohrverlauf), die von der Kamera aufgenommen wird, sich nicht schnell verändert. Somit kann die Information aus „sauberen“ Frames für die „Reparatur“ der gestörten Frames verwendet werden. Für diesen Zweck werden die Bildinformationen aus mehreren aufeinanderfolgenden Frames in einer sogenannten Helper-Matrix gespeichert und regelmäßig aktualisiert. Sollten in den darauffolgenden Frames Bereiche geben, die als Wasserspritzer klassifiziert wurden, so werden diese Bildausschnitte mit den Informationen aus der Helper-Matrix ersetzt.

[Sun06]

Sunil K Sinha and Paul W Fieguth. “Segmentation of buried concrete pipe images". In: Automation in Construction 15.1 (2006), pp. 47 - 57.

[Tung14]

Tung-Ching Su and Ming-Der Yang. “Application of morphological segmentation to leaking defect detection in sewer pipelines". In: Sensors 14.5 (2014), pp. 8686 - 8704

[Tung11]

Tung-Ching Su et al. “Morphological segmentation based on edge detection for sewer pipe defects on CCTV images". In: Expert Systems with Applications 38.10 (2011), pp. 13094 - 13114.