Innerhalb des Labors werden unterschiedliche Forschungsthemen strukturiert bearbeitet. Forschungsziele sind dabei:

1. Entwicklung optimierter, immersiver Motion-Simulationskonzepte & Motion-Profile für spezifische Simulationsumgebungen und Fahr-/Flugzeuge. Nutzung dieser Technologien für ein optimiertes Pilotentraining im Bereich Motorsport und Flugausbildung
2. Automatisierte Piloten-Analyse mittels Verfahren der künstlichen Intelligenz inkl. entsprechender Rückschlüsse auf Fehlerquellen
3. Entwicklung von Pre-Safety-Assist Features der nächsten Generation in der Automotive bzw. Aviation Domäne
   (Proaktive / verhaltens- & erfahrungsbasierte Prädiktion kritischer Situationen anstatt wie bisher nur reaktiv / sensorik-basiert)

Auf einige Details innerhalb der Schwerpunkte soll im Folgenden näher eingegangen werden.

Viele Forschungsprojekte konzentrieren sich aktuell auf die Feinabstimmung der Bewegungsprofile für die unterschiedlichen Motion-Simulationskonzepte und Technikkomponenten. Speziell beim Einsatz von VR-Technologien muss hier die Synchronisation von Bewegungsimpulsen und VR-Umgebung perfekt harmonieren, um ein realistisches Gesamtergebnis zu erschaffen. Falsche oder nicht hinreichend abgestimmte Szenarien enden schnell in der sogenannten „Motion Sickness“ (Kinetose = Bewegungskrankheit), d.h. einer starken Übelkeit beim Fahrer durch widersprüchliche physische und visuelle Reize. Gleichzeitig ist dies jedoch auch ein guter Indikator für die Evaluation der Simulationsplattformen.

Ziel des Forschungsbereiches ist die ganzheitlich an das Thema Motion Simulation adaptierte Betrachtung der Datenverarbeitungskette. Im Kontext klassischer  Data Science / Data Analytics sollen Piloten während ihrer virtuellen Aktivitäten hinsichtlich wesentlicher Vital- & Bio-Daten untersucht werden.

In der konkreten Anwendungsdomäne werden die Fahrzeugtelemetriedaten aus der Simulation mit weiteren Sensorikmodulen und Toolkits ergänzt:

• EKG Daten (Elektrokardiogramm): Herzschlagmessungen,
• EDA-Daten (elektrodermale Aktivität): Hautoberflächenspannung zur Analyse des Schweißlevels auf der Haut
• EEG-Daten (Elektroenzephalografie): Hirnstrommessungen zur Messung von Hirn-Aktivitäten
• [in Planung] Blutdruck-Messungen

Auf Basis dieser Datensätze können Rückschlüsse auf das Stress- & Immersionslevel der Probanden abgeleitet werden. Außerdem wird evaluiert, inwieweit moderne Fitness-Tracker-Armbänder und Smart Watches die oben genannten Messungen zuverlässig und hinreichend genau übernehmen können, um so die Handhabbarkeit im Rahmen der Messreihen zu erleichtern.

Die physisch korrekten Feedback-Informationen der Motion-Simulatoren sind dabei von zentraler Bedeutung und müssen vollständig synchron zum audio-visuellen Erlebnis ausgegeben werden. Effekt-Umsetzung und Effekt-Intensität der Simulator-Plattformen sind dabei entscheidend für ein realistisch wirkendes Fahr-/Flugerlebnis.

Für eine umfassende Auswertung erfolgt die Datenfusion von Vitaldaten der Piloten und Telemetriedaten der Simulation bzw. Fahrzeug. Die synchronisierten Data Sets werden gespeichert und können anschließend mit Verläufen realer Fahrerlebnisse abgeglichen werden. Je nach Umsetzungsgrad und Güte der Simulationsszenarien lassen sich hier in den zeitlichen Verläufen der Vitaldaten Analogien zwischen realem und virtuellem Erlebnis ableiten. Die gemessene Synchronität und der Offset beider Datenverläufe liefert qualifizierbare Aussagen zu erreichen Immersionslevel der Simulation bzw. des Simulatoraufbaus.

Langfristiges Ziel ist es, mittels adaptiver Simulatoren hochwertige Ausbildungsszenarien für den Motorsport-Sektor bereitzustellen. Eine umfassende Telemetriedatenbank liefert Informationen zum Skill-Level der Fahrer und erkennt vollautomisch Fahrfehler und schlägt Verbesserungen vor. In einem iterativen Prozess wird so einerseits das fahrerische Können verbessert, andererseits kann auch die Lernkurve der Piloten analysiert und verglichen werden. Konzentrationsschwächen können bspw. so gezielt bekämpft werden und die Suche talentierte Piloten wird durch Verfahren der Künstlichen Intelligenz effizienter gestaltet.

Die Methoden und Konzepte eigen sich ebenfalls hervorragend in der Pilotenausbildung. Die Kombination von immersiven Simulationsszenarien und realitätsnaher Peripherie ermöglicht hier eine signifikante Steigerung der Ausbildungsqualität bei einem sehr wirtschaftlichen Ressourceneinsatz.

Ziel dieses Forschungsbereiches ist es daher, der Grad der Immersion mittels strukturierter Datenanalyse in seiner Qualität messbar zu machen. Entsprechend erforderliche Metriken zur Abbildung von Messdaten auf die Immersionsgüte sind Gegenstand aktueller Testreihen.

Die Inhalte innerhalb des Forschungsbereiches können somit wie folgt zusammengefasst werden:

• Analyse der Fahrerdaten und der Fahrerprofile
• Vergleichende Datenanalyse in der Simulatoren und in der Realität
• Live-Analyse von Fahrsituation, gestützt durch Konzepte im Bereich Machine Learning
• Datenvisualisierung & Dateninterpretation
• eingesetzte Werkzeuge & Tools
  • MoTec
  • ATLAS
  • RN Analyzer
  • Rapidminer
  • Knime
  • MatLab

Moderne Virtual-Reality-(VR-)Headsets oder Augmented-Reality-(AR-)Systeme verbessern das simulierte Fahrerlebnis signifikant. Der Grad der Immersion, d.h. die Intensität des Eintauchens in die simulierte Umgebung steigt erheblich, das emotionale Erlebnis wird somit maximiert.

Das Team der Medieninformatik evaluiert in diesem Kontext unterschiedliche VR-/AR-Systeme hinsichtlich der Eignung für Motion-Simulationsanwendungen. Hier spielen mehrere domänenspezifische Rahmenbedingungen vor allem hinsichtlich der Tracking-Konzepte eine wesentliche Rolle:

• starke, schnelle Erschütterungen während der Simulationen (Auswirkungen auf Gyro- / Beschleunigungssensorik)
• statische Sitzpostion mit dynamischen Simulator-Aufbau um den Piloten herum (relative Bewegungen im Raum)
• sehr kurze Abstände zwischen VR-/AR-Brille und Simulatorperipherie (z.B. Monitorhalterungen) beeinflussen die Trackingqualität, speziell bei rein bildbasierten Trackingverfahren

Die gezielte Integration von VR-/AR-Technologien in Motion-Simulationen hängt in Folge dessen von vielen Einflussfaktoren ab. Inwieweit derartige Technologien dem Immersionsgefühl zuträglich sind oder auch kontraproduktiv wirken, muss anhand strukturierter Messreihen analysiert werden. Einzelne Nutzergruppen interpretieren die Kombination aus audiovisuellen Reizen und taktilen Feedbacksignalen unterschiedlich. Alter, Geschlecht, körperliche Fitness, Erfahrungswerte oder emotionale Zustände beeinflussen die Wahrnehmungen in spezifischen Bereichen.

Weiterführende Informationen zum Thema VR Forschung finden Sie auch in einem umfangreichen Presseartikel des MDR:

Forschungsfeld Virtuelle Realität

Aktuelle Fahrsicherheitssysteme sind von reaktiver Natur und warnen den Fahrer erst dann vor Gefahrensituationen, wenn sie bereits erkannt wurden. Diese Verzögerungen in der Reaktionszeit können in kritischen Momenten entscheidend sein. Prädiktive Methoden der Datenanalyse eröffnen hier völlig neue Möglichkeiten, Gefahrensituationen adaptiv zu vermeiden.

Aktuelle Sensorik und leistungsstarke Verarbeitungseinheiten im Fahrzeug ermöglichen es nun, enorme Datenmengen in Echtzeit zu verarbeiten. Hierbei sind insbesondere Kameras sowie integrierte Sensoriksysteme moderner Fahrzeugen von entscheidender Bedeutung. Diese Systeme erfassen permanent Informationen aus der Umgebung und dem Fahrzeug selbst. Die daraus resultierenden Datenströme bilden die Grundlage für Anwendungen im Bereich Maschineller Lernverfahren (ML).

Durch die Analyse umfangreicher Fahrdaten können ML-Verfahren nun so trainiert werden, dass sie Rahmenbedingungen gefährlicher Fahrsituationen erlernen und identifizieren können. Dies bedeutet, dass nicht erst eine unmittelbare Gefahr erkannt werden muss, bevor eine Warnung ausgegeben wird. Stattdessen sind die ML-Algorithmen in der Lage, komplexe Fahrsituationen kontinuierlich zu analysieren und zu bewerten. Prädiktionsalgorithmen weisen den Fahrer folglich bereits vor der eigentlichen Gefahrensituationen darauf hin, dass die Kombination der aktuellen Fahrdaten und Umweltinformationen unmittelbar bevorstehend als kritisch eingestuft wird. Die ML-Verfahren adaptieren sich dabei automatisch an den jeweiligen Rahmenbedingungen und die jeweiligen Fahrer.

Die Möglichkeiten hinsichtlich Verbesserungen der Fahrsicherheit sind hierbei vielseitig und bieten enormes Potential. Statt lediglich zu reagieren, können moderne ML-gestützte Sicherheitssysteme nun proaktiv dazu beitragen, Unfälle zu verhindern und Leben zu retten, indem sie frühzeitig auf potenzielle Gefahren hinweisen und dem Fahrer wertvolle Informationen und Unterstützung bieten.