Kooperationsprojekt EndoNaviScan
Endoskopische Navigation in (Abwasser-) Rohrsystemen; Teilprojekt: Navigation und Mustererkennung |
Förderung
![]() |
![]() |
Laufzeit: März 2015 - März 2017 |
Beschreibung des Projektes
Die Reinigung und Inspektion von Abwasserrohren ist durch einen zweischrittigen Arbeitsablauf geprägt. Im ersten Schritt wird gereinigt und im zweiten Schritt wird, nach Trockenlegung der Rohre, mit Hilfe eines Kamerawagens inspiziert. Das bestehende Produkt "Sehende Nordseedüse" der Fa. cwTec erledigt dies in einem Schritt durch einen Spülkopf, in dem zusätzlich zu den Reinigungsdüsen eine wasserdichte, hochrobuste analoge Kamera integriert ist. Dieses System ist manuell steuerbar und stellt analoge Videobilder bereit. Ziel des Projektes EndoNaviScan ist es, eine teilautomatisierte Navigation durch ein Rohrsystem im Durchmesserbereich von 200-1200 mm bereitzustellen, potentielle Schäden automatisch zu erkennen, zu kartieren und somit dem Bediener die gezielte Inspektion von Schadstellen zu ermöglichen. Um bereits beim Einfahren und damit beim Reinigen des Rohrsystems die zurückgelegte Route präzise dokumentieren zu können, wird der Einsatz von Inertial Measurement Units (IMUs) innerhalb des Projektes untersucht. Erweitert um ein digitales Bildverarbeitungssystem zur Schadenserkennung wird das neue System es ermöglichen, Schäden zu erfassen, zu vermessen, zu lokalisieren und zu dokumentieren. |
Projektergebnisse
Inertiale Untergrundnavigation
Bei der Betrachtung des Systems der „Sehenden „Nordseedüse“ kann der Prozessablauf durch folgende zentrale Aspekte beschrieben werden:
Der im Rahmen des Projektes umgesetzte Algorithmus basiert auf dem sogenannten „MapMatching“-Verfahren, das in [Sven16] vorgeschlagen wurde. Die Kombination von Richtungsänderungen mit Informationen, die aus einer Karte extrahiert werden können, lassen sich auf die Aufgabenstellung bei der Ortung der „Sehenden „Nordseedüse““ übertragen. Die Problematik über fehlende Informationen bezüglich des Startpunktes, der Bewegungsrichtung und der zurückgelegten Distanz ist bei dem betrachteten System nicht gegeben. Sowohl der Startpunkt als auch die Startrichtung können klar definiert werden. Über die abgerollte Schlauchlänge steht darüber hinaus ein Maß für die zurückgelegte Distanz zur Verfügung. |
|
Verweise: | |
[Sven16] |
Svensson, John: Investigation of Inertial Navigation for Localization in Underground Mines, Examsarbeit, 2015, URL: http://www.diva-portal.org/smash/get/diva2:881587/FULLTEXT01.pdf [Stand 14.7.2016]. |
[Löch16] |
Nicolai Löchel, „Entwicklung eines IMU-basierten Navigationssystems für Abwassersysteme“, Masterarbeit an der Universität Bremen, 2016 |
Bildanalyse
Es wurden im Rahmen des vorliegenden Projektes Methoden der digitalen Bildbearbeitung erforsch, die eine automatische Erkennung von möglichen Schäden ermöglichen. |
![]() |
Die Bearbeitung erfolgt Frameweise. Im ersten Schritt erfolgt die Erstklassifikation der Frames in nicht verwertbaren Frames (Nutzloses Bild), die z.B. aufgrund der Verschmutzung der Kameralinse keinerlei Nutzinformationen enthalten, und verwertbaren Frames (Nutzbild). Dies erfolgt unter dem Einsatz der Methoden des Maschinellen Lernens. Dafür wurde ein Verfahren implementiert, das auf Basis von HOG (Hystogram of oriented gradients) als Merkmal eine Klassifikation mit trainierter SVM (Support Vector Machine) vornimmt. Für das Training des vorgeschlagenen Klassifikators wurde das vorhandene Bildmaterial, das während der Reinigungsfahrten mit dem derzeitigen „Nordseedüse“-System aufgenommen wurde, manuell in verwertbare und nicht verwertbare Frames sortiert. Dazu wurden zunächst 120 Trainingsbilder ausgewählt und für das Training des Klassifikators verwendet. Anschließend wurde der Klassifikator mit Testbildern (je 40 Testframes pro Klasse: nicht verwertbares Bild / Nutzbild) geprüft. Dabei wurden 72% der Nutzbilder und 90% der nicht verwertbaren Bilder korrekt klassifiziert. Die Ergebnisse können im späteren Verlauf durch Berücksichtigung des zusätzlichen Bildmaterials weiter verbessert werden. Im nächsten Schritt wird als Nutzbild klassifiziertes Frame weiterbearbeitet. Das Bild wird segmentiert und sogenannte ROIs (Regions of Interest) definiert, bei denen ein Verdacht auf mögliche Schäden vorliegt. Für die Segmentierung wurden mehrere Verfahren in Betracht gezogen. Es wurden zunächst die aus der Literaturrecherche bekannte Segmentierungsmethoden, die im Wesentlichen auf morphologischen Bildoperationen basieren [Sun06], [Tung14], [Tung11], angewendet und getestet. Für Implementierung in der Demosoftware wurden „Top Hat Opening“ ‚ „Bottom Hat Closing“ sowie „Morphologische Segmentierung basieren auf Kantendetektion (MSED)“ ausgewählt. Um die Ergebnisse der morphologischen Segmentierung zu verbessern, wurde ein neues Verfahren, die sogenannte Schicht-Segmentierung (Layered Segmentation). |
![]() |
![]() |
![]() |
![]() |
Ergebnisse der Bildverarbeitung mit dem vorgeschlagenen Verfahren |
Die segmentierten verdächtigen Bereiche werden der weiteren Analyse unterzogen. Es wird dabei zwischen den Wasserspritzern und den defektverdächtigen ROIs unterschieden. Es wird davon ausgegangen, dass ggf. vorhandenen Defekte, betrachtet über mehrere aufeinanderfolgende Frames, die Position im Bild nur gering bzw. gar nicht verändern währen die Wasserspritzer hohe Dynamik aufweisen. Ausgehend von dieser Hypothese werden vom Frame zu Frame verschwindende ROIs als Spritzer klassifiziert und unter Einbezug eines speziell im Rahmen des Projektes entwickelten Algorithmus aus dem Bildmaterial entfernt. Es wird dabei davon ausgegangen, dass die Umgebung (Rohrverlauf), die von der Kamera aufgenommen wird, sich nicht schnell verändert. Somit kann die Information aus „sauberen“ Frames für die „Reparatur“ der gestörten Frames verwendet werden. Für diesen Zweck werden die Bildinformationen aus mehreren aufeinanderfolgenden Frames in einer sogenannten Helper-Matrix gespeichert und regelmäßig aktualisiert. Sollten in den darauffolgenden Frames Bereiche geben, die als Wasserspritzer klassifiziert wurden, so werden diese Bildausschnitte mit den Informationen aus der Helper-Matrix ersetzt. |
![]() |
![]() |
![]() |
![]() |
Originalframe | Verbessertes Frame |
Ergebnisse der Bildqualitätsverbesserung |
Nach dem die Videoanalyse für den gewählten Videoabschnitt durchgeführt werden, werden die Ergebnisse in einem Diagramm dargestellt. Die Position der Schieberegler in dem Diagramm ist mit dem Video verknüpft, sodass die entsprechenden Frames direkt untersucht werden können.Die als defekt bzw. defektfrei verifizierten Bereich können in dem Diagramm markiert und als solche gekennzeichnet werden. Diese Ergebnisse können anschließend als ein Bericht im PDF-Format zusammen mit den Videodaten (original und bearbeitet) gesichert werden. |
![]() |
Verweise: | |
[Sun06] |
Sunil K Sinha and Paul W Fieguth. “Segmentation of buried concrete pipe images". In: Automation in Construction 15.1 (2006), pp. 47 - 57. |
[Tung14] |
Tung-Ching Su and Ming-Der Yang. “Application of morphological segmentation to leaking defect detection in sewer pipelines". In: Sensors 14.5 (2014), pp. 8686 - 8704 |
[Tung11] |
Tung-Ching Su et al. “Morphological segmentation based on edge detection for sewer pipe defects on CCTV images". In: Expert Systems with Applications 38.10 (2011), pp. 13094 - 13114. |