Beginn: Ab sofort

Erstbetreuer: Dr. Akdag

Zweitbetreuer: Prof. Dr. Heisenberg

Niveau: Bachelorarbeit

Problemstellung:
Große Sprachmodelle (LLMs) werden zunehmend auch für technische Anwendungsfälle wie Chatbots zur Unterstützung von Entwicklerinnen und Entwicklern eingesetzt. Dabei stellt sich die Frage, welche Modelle sich besonders gut für den Einsatz in domänenspezifischen Szenarien wie Open-Source-Repositories eignen. Ziel dieser Arbeit ist es, verschiedene aktuelle LLMs zu vergleichen und ihre Eignung für die Beantwortung technischer Fragen im Kontext eines realen Repositories wie z.B. HEAT des DLR (→Project) zu untersuchen.

Vorarbeiten:

• Heat ist auf GitHub vollständig verfügbar und dokumentiert.
• Hugging Face stellt eine Vielzahl vortrainierter LLMs, Fine-Tuning-Frameworks sowie einen Führungskurs in LLMs und deren Nutzung bereit.
• Erste Erfahrungen mit Prompt-Engineering und Retrieval-Augmented Generation (RAG) sind dokumentiert.

Offene Aufgaben:

• Einarbeitung in das Heat-Repository und Auswahl relevanter Inhalte für einen Chatbot.
• Auswahl und Anwendung mehrerer LLMs aus der Hugging Face-Community.
• Test der Modelle im Zero-Shot- oder Few-Shot-Modus auf konkrete Aufgaben im Repository-Kontext.
• Entwicklung und Anwendung sinnvoller Evaluationsmetriken.
• Systematischer Vergleich der Modelle anhand der selbstdefinierten Metriken.
• Optional: Entwicklung eines kleinen Interfaces zur Demonstration des Chatbots.

Ziel ist ein fundierter Überblick über die Stärken und Schwächen verschiedener LLMs beim Einsatz in Chatbot-Anwendungen mit komplexem technischen Hintergrund.

Interessiert?
Sie interessieren sich für den praktischen Einsatz großer Sprachmodelle und möchten deren Potenziale im Bereich der Softwareentwicklung untersuchen? Dann bietet diese Bachelorarbeit eine spannende Möglichkeit. Sie erhalten Einblick in moderne LLM-Architekturen, evaluieren reale Anwendungsfälle und leisten damit einen Beitrag zur besseren Nutzbarkeit technischer Open-Source-Projekte.