Diese Herausforderung erwartet dich:

Im Rahmen dieser Masterarbeit entwickelst du eine prototypische, lizenzunabhängige und Python-basierte Reinforcement-Learning-Simulationsumgebung für ausgewählte Fahrmanöver im Automotive-Kontext. Ziel ist es, Reward-Konzepte für einen RL Driver zunächst in einer leichtgewichtigen Umgebung schnell zu explorieren, zu iterieren und zu bewerten, bevor ausgewählte Reward-Ansätze in eine High-Fidelity-Simulation, zum Beispiel CarMaker, übertragen und dort validiert werden.

Deine Aufgaben:

• Du konzipierst eine modulare, Python-basierte RL-Explorationsumgebung für ausgewählte Fahrmanöver im Automotive-Kontext
• Du baust ein lauffähiges Baselinesystem für RL-Experimente im Fahrkontext auf, zum Beispiel auf Basis eines Gymnasium-kompatiblen Environment-Interfaces und einer geeigneten RL-Toolchain
• Du entwickelst ein vereinfachtes Simulationsmodell für einen ausgewählten RL-Driver-Use-Case, einschließlich Observation Space, Action Space, Zustandsübergängen und relevanten Bewertungsgrößen
• Du entwirfst, iterierst und bewertest verschiedene Reward-Funktionen mit Blick auf lernbares, robustes Fahrverhalten
• Du analysierst das Lernverhalten hinsichtlich Stabilität, Konvergenz, Robustheit und Sensitivität und leitest daraus Verbesserungsmaßnahmen ab
• Du überträgst ausgewählte Reward-Konzepte in eine High-Fidelity-Simulationsumgebung, zum Beispiel CarMaker, und vergleichst das Verhalten mit der leichtgewichtigen Umgebung
• Du bewertest deinen Ansatz hinsichtlich Simulationsgeschwindigkeit, Übertragbarkeit, notwendiger manueller Nacharbeit und Reproduzierbarkeit und dokumentierst deine Ergebnisse strukturiert

Notwendige Kenntnisse:

• Technischer oder naturwissenschaftlicher Studiengang zum Beispiel Informatik, Elektrotechnik, Mathematik, Physik
• Sehr gute Python-Kenntnisse sowie Erfahrung mit sauberer Softwarearchitektur und modularer Entwicklung
• Grundlegende bis gute Kenntnisse in Reinforcement Learning, idealerweise mit Gymnasium, Stable-Baselines3, Ray RLlib oder vergleichbaren RL-Toolchains
• Erfahrung mit Datenanalyse, Experimentauswertung und Visualisierung, zum Beispiel mit NumPy, Pandas und Matplotlib
• Interesse an AI im Automotive- und Simulationsumfeld sowie eine strukturierte, eigenständige Arbeitsweise

Gewünschte Kenntnisse:

• Grundkenntnisse in Fahrdynamik, Fahrzeugführung, Simulation oder modellbasierten Entwicklungsprozessen
• Erfahrung mit der Umsetzung eigener RL-Experimente, zum Beispiel im Rahmen von Projekten, Praktika oder Studienarbeiten
• Erfahrung mit CarMaker oder vergleichbaren High-Fidelity-Simulationsumgebungen
• Kenntnisse in der Bewertung von AI-Systemen hinsichtlich Robustheit, Generalisierungsfähigkeit und Reproduzierbarkeit
• Grundlagen in Versionsverwaltung und reproduzierbaren Software-Setups, zum Beispiel mit Git und virtuellen Umgebungen