Teilprojekt 1: Kognitive Systemmodellierung

Teilprojektleiter Prof. Dr.-Ing. Frank Wallhoff
Teilprojektmitarbeiter Tobias Theuerkauff, M.Sc.
Yves Wagner, B.Eng.
Teilprojektvolumen 321.332 €
Fördermittelgeber Nds. Ministerium für Wissenschaft und Kultur - VW-Vorab/Wissenschaft für nachhaltige Entwicklung
Teilprojektlaufzeit 02/2017 bis 12/2020

In diesem Teilprojekt steht die Entwicklung einer kognitiven Steuerungsarchitektur zur Online-Verarbeitung verschiedenster Daten im Kontext von Unmanned Surface Vehicles (USV),Autonomous Underwater Vehicles (AUV) sowie Remotely Operated Vehicles (ROV) im Mittelpunkt. Im entstehenden System soll hierfür das Wissen über die vehikelspezifisch nutzbaren Funktionen und Arbeitsbereiche über ein geeignetes Modellierungsverfahren softwareintern repräsentiert werden. Verfahren der künstlichen Intelligenz, genetische Algorithmen und Algorithmen der diskreten Mustererkennung sollen für die Eignung untersucht und gegebenenfalls verwendet bzw. in die Steuerungsarchitektur integriert werden. Ferner soll die Leistungsfähigkeit des Systems in simulierten und realen Umgebungen erprobt werden. Dabei soll die Planungskomponente des Systems sowohl auf Online- als auch Offline-Planungskomponenten sowie „case-based reasoning“ Ansätzen aufsetzen.

Als Grundbaustein hat sich der Einsatz des quelloffenen Frameworks DUNE aus dem Institut LSTS der Universität Porto [Pinto2018] für die Basisarchitektur zur Lösung der gestellten Problematik als zielführende Alternative zur kompletten Neuentwicklung eines Systems herausgestellt. Auf dem Grundbaustein des DUNE-Frameworks wurde eine Software entwickelt, die auf den eingesetzten Fahrzeugtypen der BlueRov2-Plattform lauffähig ist sowie die fahrzeugspezifische Sensorik und Aktorik in das System einbindet. Die Software ist modulbasiert aufgebaut. Somit können einzelne Module wie Sensormodule, Navigationsmodule zur autonomen Steuerung und Aktorikmodule weitestgehend unabhängig voneinander entwickelt und ausgetauscht werden. Zudem besteht so die angestrebte Möglichkeit, dass die Software nach vehikelspezifischen Modulanpassungen auch für andere USV, AUV und ROV Fahrezugtypen verwendet werden kann.

Für das zur Zeit im Projekt verwendete ROV BlueRov2 wurden innerhalb der bisherigen Projektlaufzeit die Antriebsmotoren (Aktorik) sowie verschiedene Sensorik wie Inertial Measurment Unit (IMU), Druck-, Temperatur- und Feuchtigkeitssensoren (in den Röhren der Hardware) sowie GPS und akustische Modems zur Positionsbestimmung und Datenübertragung unter Wasser bereits integriert. Die Anbindung weiterer Sensorik zur Objektdetektion unter Wasser (z.B. Echolot, Lidar und Kameras) ist geplant. Die zugehörigen Schnittstellen zur Anbindung dieser Sensorik sind bereits entwickelt und in die Steuerungssoftware intergriet worden.

Alle Sensordaten können im laufenden Betrieb des Vehikels permanent oder bei Bedarf ausgelesen und an die verschiedenen Module der Systemarchitektur zur weiteren Auswertung und Einbeziehung weitergeleitet werden. Dies ermöglicht unter anderem die Berücksichtigung des sich dynamisch ändernden Umgebungszustands des Vehikels innerhalb der Module mit den autonomen Steuerungsalgorithmen. 

Die Kommunikation mehrerer Vehikel untereinander über verschiedene Netzwerke (LAN, W-LAN und Akustik) wurde ebenfalls bereits umgesetzt. Die Steuerungssoftware-Instanzen verschiedener Fahrzeuge können sich im gleichen Netzwerk registrieren und so Sensordaten, Fahrzeuginformationen und weitere Nachrichten über ein gemeinsames, erweiterbares Nachrichtenprotokoll untereinander austauschen.

Abbildung 1: Übertragung der Position und Rotation des realen ROV in die Visualisierungsumgebung
Abbildung 1: Übertragung der Position und Rotation des realen ROV in die Visualisierungsumgebung

Um die iterative Entwicklung der kognitiven Steuerungsarchitektur für die Fahrzeuge ohne physikalische Testläufe zu ermöglichen, wurde eine Simulationsumgebung zum Evaluieren der Architekturimplementierungen unter sicheren Bedingungen angestrebt [Theuerkauff2017]. Bei Fehlfunktionalitäten der Steueralgorithmen kann durch die vorherigen Testläufe der implementierten Software in der Simulationsumgebung die Beschädigung oder im schlimmsten Fall der Verlust eines Fahrzeugs bestmöglich eingedämmt werden. Die virtuelle Simulationsumgebung wurde auf Basis der Unreal-Game-Engine [Unreal2018] implementiert. Alle eingesetzten Vehikel sind inklusive der verbauten Sensorik und Aktorik in Form von 3D-Modellen modelliert und in die Simulationsumgebung integriert worden. Der Einsatz der Simulationsumgebung kann als reine Visualisierung der realen Fahrzeuge in einer virtuellen Welt eingesetzt und auch als Simulationsumgebung zur Anbindung der virtuellen Vehikel inklusive der modellierten Sensorik und Aktorik an die reale Steuerungssoftware verwendet werden.

Abbildung 2: ROV und USV in virtueller Testumgebung in der Simulationsanwendung
Abbildung 2: ROV und USV in virtueller Testumgebung in der Simulationsanwendung

Die Anbindung der Simulationsumgebung an das Netzwerk der Steuerungssoftware-Instanzen wurde über einen Wrapper implementiert. Dieser meldet sich, wie die anderen Fahrzeuge, im Vehikel-Netzwerk und zusätzlich in der Simulationsumgebung an. Damit ist er in der Lage, eine bidirektionale Kommunikation zwischen den simulierten Fahrzeugen und den realen Steuerungssoftware-Instanzen zu gewährleisten. Durch diesen Vorgang kann eine Steuerungssoftware-Instanz gleichermaßen ein reales Fahrzeug mit der zugehörige Sensorik und Aktorik und auch das zugehörige virtuelle Vehikel mit der simulierten Sensorik und Aktorik in der Simulationssoftware steuern [Theuerkauff 2018].

Es wurde ein Steuerungsalgorithmus entworfen und implementiert, der es erlaubt, ein Unterwasservehikel in einer statischen Umgebung durch ein Testbecken fahren zu lassen, um bekannte Objekte in Form eines roten Balls mit einem Durchmesser von 7cm zu detektieren. Das Vehikel fährt die Umgebung systematisch ab und kartiert dabei die erkannten Objekte in der Missionsumgebung. Der Steueralgorithmus konnte in der Simulationsumgebung erfolgreich getestet werden Hierzu wurde eine virtuelle Missionsumgebung in Form eines Schwimmbads mit der Dimension 20m x 10m x 5m [LBT] modelliert. Der Test des Steuerungsalgorithmus in einer realen Umgebung unter Verwendung des BlueRov2 erfolgt in Kürze.

 

Literaturquellen

[Pinto2013] Pinto, J., et al. (2013): The LSTS Toolchain for Networked Vehicle SYSTEMS. MTS/IEEE OCEANS - Bergen, 2013

[Theuerkauff2017] Theuerkauff, T., Werner, T., Wallhoff, F., Brinkhoff ,T. (2017): 3D-Visualisierung von Über- und Unterwasserfahrzeugen zur Evaluation von Steuerungsalgorithmen mithilfe einer Game-Engine, In Proceedings of Go-3D, Rostock, Germany, 2017

[Theuerkauff2018] Theuerkauff, T., Wagner, Y., Wallhoff, F. (2018): Realtime Simulation And 3D-Visualisation Of Surface And Underwater Vehicles For Monitoring And Evaluating Autonomous Missions. 32nd European Conference on Modelling and Simulation, pp 129-135, 2018

[Unreal2018] Epic Games, Unreal Engine Website, www.unrealengine.com/en-US/what-is-unreal-engine-4 , Zugriff: 10.12.2018.

Logos