Das SDQ-Institutsseminar ist eine ständige Lehrveranstaltung, die den Zweck hat, über aktuelle Forschungsarbeiten in den zu Software Design and Quality (SDQ) gehörigen Forschungsgruppen innerhalb von KASTEL – Institut für Informationssicherheit und Verlässlichkeit zu informieren. Insbesondere soll Studierenden die Gelegenheit gegeben werden, über ihre Bachelor- und Masterarbeiten vor einem größeren Auditorium zu berichten. Schwerpunkte liegen dabei auf der Problemstellung, den Lösungsansätzen und den erzielten Ergebnissen. Das Seminar steht aber allen Studierenden und Mitarbeitenden des KIT sowie sonstigen Interessierten offen.
Das Seminar findet auf Wunsch hybrid mit online zugeschalteten Teilnehmenden statt. Bitte dies den Betreuenden rechtzeitig mitteilen, damit diese die notwendigen Geräte aufbauen können.
|
|
Ort
|
Gebäude 50.34, Seminarraum 010 oder online, siehe Beschreibung
|
|
|
Zeit
|
jeweils freitags, 14:00–15:30 Uhr
|
Die Vorträge müssen den folgenden zeitlichen Rahmen einhalten (siehe auch SDQ-Wiki):
- Masterarbeit: 30 Minuten Redezeit + 15 Minuten Diskussion
- Bachelorarbeit: 20 Minuten Redezeit + 10 Minuten Diskussion
Weitere Informationen
Nächste Vorträge
Termine in Kalender importieren: iCal (Download)
iCal (Download)
Ort: Raum 348 (Gebäude 50.34)
iCal (Download)
Ort: Room 010 (building 50.34)
Design and Evaluation of a RAG-Based Chatbot for Vitruvius
| Vortragende(r)
|
Lorenz Moser
|
| Vortragstyp
|
Masterarbeit
|
| Betreuer(in)
|
Raziyeh Dehghani
|
| Vortragssprache
|
Englisch
|
| Vortragsmodus
|
in Präsenz
|
| Kurzfassung
|
In modelling-heavy software-engineering projects, the relevant knowledge to understand the system is fragmented across heterogeneous source types such as research papers, project documentation, and source code. Vitruvius is one such project: an open-source framework for view-based software development and the technical core of the Convide Collaborative Research Centre. This fragmentation makes the onboarding of new users expensive. Therefore, this thesis develops a Retrieval-Augmented Generation (RAG) based chatbot for the Vitruvius domain in two variants: Naive RAG retrieves purely on semantic similarity, while Graph-Retrieval-Augmented Generation (GraphRAG) additionally exploits structural dependencies in the project’s knowledge base. The contributions are a knowledge organisation pipeline that handles each source type with its own chunking and graph- construction strategy, and the two retrieval variants built on it. To evaluate both variants, this thesis further contributes a 33-question Vitruvius-specific evaluation dataset and a joint evaluation combining a technical sweep, two pilot user studies with Vitruvius users (𝑛 = 5), and an alignment analysis between automated metrics and user perception. The identified Pareto-best GraphRAG configuration improves the mean of all retrieval metrics, such as recall@k and precision@k, by 4–21% over Naive RAG, The user study confirms that the sources retrieved by GraphRAG are more relevant: 3.2 to 2.9 on a 5-point Likert-scale. However, the retrieval-side advantage over Naive RAG comes with a 75% increased end-to- end latency and does not translate into measurably better generated answers. The alignment analysis only shows a weak correlation across all covered metric pairs (𝜌 < 0.20).
|
iCal (Download)
Ort: Raum 010 (Gebäude 50.34)
iCal (Download)
Ort: Room 010 (building 50.34)
iCal (Download)
Ort: Raum 010 (Gebäude 50.34)
To Opt in or Opt out – Optimizing Copilot Suggestions
| Vortragende(r)
|
Julika Krüger
|
| Vortragstyp
|
Masterarbeit
|
| Betreuer(in)
|
Anne Koziolek
|
| Vortragssprache
|
Englisch
|
| Vortragsmodus
|
in Präsenz
|
| Kurzfassung
|
Generative AI-assisted programming tools such as GitHub Copilot have increasingly shaped modern software development. Despite their widespread use, prior research has indicated that frequent or multi-line suggestions can distract the developer and break their flow. To address this, we propose an alternative presentation approach for AI-generated code suggestions that aims to minimize disruptions by introducing an opt-in mechanism, where suggestions are displayed only upon explicit user request, and evaluate its impact on the overall programming experience.
|
weitere Termine