Beginn: Ab sofort
Erstbetreuer: Dr. Akdag
Zweitbetreuer: Prof. Dr. Heisenberg
Niveau: Bachelorarbeit
Problemstellung:
Komplexe Software, wie das wissenschaftliche Open-Source-Projekt HEAT der Deutschen Agentur für Luft- und Raumfahrt (DLR-Project), stellt insbesondere für Einsteiger große Hürden dar. Die Navigation durch Dokumentation, Code-Struktur und Nutzungsszenarien ist zeitintensiv und oft frustrierend. Ziel dieser Arbeit ist es, mit Hilfe eines auf Hugging Face basierenden Language Models (LLM) einen Chatbot zu erstellen, der als virtueller Assistent für das Heat-Repository fungiert. Der Fokus liegt auf der Analyse und dem Vergleich verschiedener Fine-Tuning-Strategien, um eine effektive und benutzerfreundliche Interaktion mit möglichst präzisen Ergebnissen zu ermöglichen.
Komplexe Software, wie das wissenschaftliche Open-Source-Projekt HEAT der Deutschen Agentur für Luft- und Raumfahrt (DLR-Project), stellt insbesondere für Einsteiger große Hürden dar. Die Navigation durch Dokumentation, Code-Struktur und Nutzungsszenarien ist zeitintensiv und oft frustrierend. Ziel dieser Arbeit ist es, mit Hilfe eines auf Hugging Face basierenden Language Models (LLM) einen Chatbot zu erstellen, der als virtueller Assistent für das Heat-Repository fungiert. Der Fokus liegt auf der Analyse und dem Vergleich verschiedener Fine-Tuning-Strategien, um eine effektive und benutzerfreundliche Interaktion mit möglichst präzisen Ergebnissen zu ermöglichen.
Vorarbeiten:
- Heat ist auf GitHub vollständig verfügbar und dokumentiert.
- Hugging Face stellt eine Vielzahl vortrainierter LLMs, Fine-Tuning-Frameworks sowie einen Einführungskurs in LLMs und deren Nutzung bereit.
- Erste Erfahrungen mit Prompt-Engineering und Retrieval-Augmented Generation (RAG) sind dokumentiert.
Offene Aufgaben:
- Einarbeitung in das Heat-Repository und Auswahl relevanter Inhalte für einen Chatbot.
- Aufbereitung eines passenden Datensatzes zur Modellierung von Nutzerfragen und -antworten.
- Feintuning eines vortrainierten LLMs (z. B. via Hugging Face) mit verschiedenen Techniken.
- Auswahl und Anwendung sinnvoller Metriken zur Bewertung der Antworten.
- Vergleich der eingesetzten Fine-Tuning-Methoden in Bezug auf Qualität, Aufwand und Ressourcenverbrauch.
- Optional: Entwicklung eines kleinen Interfaces zur Demonstration des Chatbots.
Interessiert?
Sie möchten mit modernen Sprachmodellen arbeiten und dabei ein reales Open-Source-Projekt unterstützen? Dann bietet diese Bachelorarbeit eine spannende Gelegenheit. Sie erhalten die Möglichkeit, praktische Erfahrung mit LLMs, verschiedenen Fine-Tuning-Methoden und Evaluationsmetriken zu sammeln – und entwickeln dabei einen virtuellen Assistenten, der Entwicklerinnen und Entwicklern den Einstieg in komplexe Software erleichtert.
Sie möchten mit modernen Sprachmodellen arbeiten und dabei ein reales Open-Source-Projekt unterstützen? Dann bietet diese Bachelorarbeit eine spannende Gelegenheit. Sie erhalten die Möglichkeit, praktische Erfahrung mit LLMs, verschiedenen Fine-Tuning-Methoden und Evaluationsmetriken zu sammeln – und entwickeln dabei einen virtuellen Assistenten, der Entwicklerinnen und Entwicklern den Einstieg in komplexe Software erleichtert.