Beginn: Ab Januar 2026
Erstbetreuer: Dr. Akdag
Zweitbetreuer: Prof. Dr. Heisenberg
Niveau: Masterarbeit
Kooperation: DLR – Institut für Softwaretechnologie & Einrichtung Raumfahrtantriebe
Problemstellung:
Flüssigraketentriebwerke werden häufig über feste Ventilsequenzen oder stationäre Regler betrieben. Dadurch fehlt die Flexibilität, in allen Betriebsphasen auf unvorhergesehenes Verhalten zu reagieren – mit Risiken für Komponentenlebensdauer und Missionsstabilität. Moderne Reinforcement-Learning (RL)-Regler besitzen das Potenzial, Brennkammerdruck und Mischungsverhältnis zustandsabhängig und nichtlinear zu regeln. Auf Basis eines Simulationsmodells eines 20 N-Triebwerks (Lachgas/Ethan) in EcosimPro/ESPSS wird mit Soft Actor-Critic (SAC) trainiert. Trotz parallel ausgeführter Simulationen sind die Trainingszeiten bislang sehr lang. Ziel ist die systematische Analyse und Beschleunigung des Trainings – bis hin zur Nutzung von Hochleistungsrechnern (HPC).
Flüssigraketentriebwerke werden häufig über feste Ventilsequenzen oder stationäre Regler betrieben. Dadurch fehlt die Flexibilität, in allen Betriebsphasen auf unvorhergesehenes Verhalten zu reagieren – mit Risiken für Komponentenlebensdauer und Missionsstabilität. Moderne Reinforcement-Learning (RL)-Regler besitzen das Potenzial, Brennkammerdruck und Mischungsverhältnis zustandsabhängig und nichtlinear zu regeln. Auf Basis eines Simulationsmodells eines 20 N-Triebwerks (Lachgas/Ethan) in EcosimPro/ESPSS wird mit Soft Actor-Critic (SAC) trainiert. Trotz parallel ausgeführter Simulationen sind die Trainingszeiten bislang sehr lang. Ziel ist die systematische Analyse und Beschleunigung des Trainings – bis hin zur Nutzung von Hochleistungsrechnern (HPC).
Vorarbeiten:
- Passendes Simulationsmodell (EcosimPro/ESPSS) mit Python-Schnittstelle vorhanden.
- Bestehendes RL-Setup mit SAC sowie paralleler Ausführung mehrerer Simulationen.
- Erprobter Testfall: 20 N Brennkammer (N2O/Ethanol) mit breitem Betriebsbereich über Regelventile.
Offene Aufgaben:
- Sichtung des bisherigen Stands und Ableitung von Bottlenecks im RL-Training.
- Literaturrecherche zu Methoden zur Beschleunigung des RL-Trainings (z. B. Sample-Effizienz, Parallelisierung, Algorithmen-/Hyperparameter-Tuning, Modellierung).
- Anpassung des Simulations- und Trainings-Frameworks sowie Implementierung geeigneter Beschleunigungsansätze.
- Training der Regler mit dem EcosimPro/ESPSS-Modell und Auswertung der Lernkurven.
- Untersuchung der Übertragbarkeit auf Hochleistungsrechner (HPC) und Analyse der Skalierbarkeit.
- Dokumentation, wissenschaftliche Diskussion der Ergebnisse und Präsentation.
Ziel der Arbeit:
Der Trainingsprozess für RL-Regler zur Regelung von Brennkammerdruck und Mischungsverhältnis soll signifikant beschleunigt werden, ohne die Regelgüte zu kompromittieren. Die Arbeit zeigt, wie moderne KI-Regelungen effizient in der Raumfahrtantriebstechnik eingesetzt und auf HPC-Systemen skaliert werden können.
Der Trainingsprozess für RL-Regler zur Regelung von Brennkammerdruck und Mischungsverhältnis soll signifikant beschleunigt werden, ohne die Regelgüte zu kompromittieren. Die Arbeit zeigt, wie moderne KI-Regelungen effizient in der Raumfahrtantriebstechnik eingesetzt und auf HPC-Systemen skaliert werden können.
Ansprechpartner:
Hakan Akdag (E-Mail: hakan.akdag@dlr.de)
Hakan Akdag (E-Mail: hakan.akdag@dlr.de)
Mehr Infos unter:
Stellenanzeige_Abschlussarbeit_Beschleunigtes_RL-Training.pdf
Stellenanzeige_Abschlussarbeit_Beschleunigtes_RL-Training.pdf