Semantische Suche

Die Ergebnisse zeigen, dass insbesondere die GPT-basierten Modelle in bestimmten Szenarien eine höhere Effizienz als der traditionelle Monkey-Tester aufweisen, vor allem bei der Generierung von sinnvollen Texteingaben. Dies unterstreicht das Innovationspotential von LLMs im Bereich der Software-Tests, zeigt aber auch die Herausforderungen und Grenzen auf, die bei der Anwendung auf komplexere Systeme zu erwarten sind. Diese Arbeit leistet somit einen wichtigen Beitrag zur Diskussion über die Weiterentwicklung und Optimierung automatisierter Testverfahren in der Softwareentwicklung.

Distributed computing simulators are utilized for this purpose to model and predict system behaviors. Among the various simulators developed in recent decades, this thesis specifically focuses on the state-of-the-art simulator DCSim. DCSim simulates the nodes and links of the configured platform, generates the workloads according to configured parameter distributions, and performs the simulations. The simulated job execution metadata is accurate, yet the simulations demand computational resources and time that increase superlinearly with the number of nodes simulated.

In this thesis, we explore the application of Recurrent Neural Networks and Transformer models for predicting job execution metadata within distributed computing environments. We focus on data preparation, model training, and evaluation for handling numerical sequences of varying lengths. This approach enhances the scalability of predictive systems by leveraging deep neural networks to interpret and forecast job execution metadata based on simulated data or historical data.

We assess the models across four scenarios of increasing complexity, evaluating their ability to generalize for unseen jobs and platforms. We examine the training duration and the amount of data necessary to achieve accurate predictions and discuss the applicability of such models to overcome the scalability challenges of DCSim. The key findings of this work demonstrate that the models are capable of generalizing across sequences of lengths encountered during training but fall short in generalizing across different platforms.

The topic of this thesis is Symbolic Performance Modeling, a new white-box approach to the analysis of the configuration options' influence on the software's performance. The approach utilizes taint analysis to determine where in the source code configuration options influence the software's performance and symbolic execution to determine whether the influence is significant. We assume that only loop constructs with non-constant iteration counts change the asymptotic behavior of the program. The Feature Taint Analysis provided by VaRA is used to determine which configuration options influence loops, while the Path Tracing provided by PhASAR is used to construct all control-flow paths leading to the loops and their respective path conditions. The SMT Solver Z3 is then used to derive value ranges from the path conditions for the configuration options which influence the loop constructs. We determine the significance of a configuration option's influence based on the size of its value range.

We implement the proof-of-concept tool Symbolic Performance Modeling Value Generator to evaluate the approach with regard to its capabilities to analyze real-world applications and its performance. From the insights gained during the evaluation, we define limitations of the current implementation and propose improvements for future work.

In dieser Masterarbeit stellen wir einen Ansatz zur Unterstützung des Import-Prozesses für den ORKG vor, indem wir Publikationen aus dem Bereich der Softwarearchitektur mit Sprachmodellen klassifizieren. Für den Ansatz beurteilen wir, wie gut die Sprachmodelle abschneiden und welchen Umwelteinfluss die Klassifizierung hat.

Für die Klassifizierung greifen wir auf den Datensatz zurück, welcher eine Taxonomie und einen Datensatz mit Softwarearchitektur-Veröffentlichungen beinhaltet. Auf dem Datensatz wenden wir verschiedene Techniken wie Splitting und Oversampling an, bevor wir ihn an die Sprachmodelle übergeben. Für die Klassifizierung verwenden wir zwei verschieden Ansätze. Zum einen trainieren wir Sprachmodelle und führen eine Hyperparameter Suchen durch. Zum anderen verwenden wir einen Zero-Shot Ansatz um Vorhersagen für die Softwarearchitektur Publikationen zu erhalten. Wir konnten zeigen, dass die trainierten Sprachmodelle gut funktionieren, wenn genügend Vertreter für die Label vorhanden sind. Mit der Oversampling-Strategie konnten wir unsere Ergebnisse verbessern. Für Kategorien mit weniger Labels konnten wir zeigen, dass der Zero-Shot Ansatz besser abschneidet. Für den Umwelteinfluss konnten wir zeigen, dass das kleinere Sprachmodell DistilBERT für die trainierten Sprachmodelle und Mistral bzw. Llama2:7b für den Zero-Shot Ansatz im Vergleich zu größeren Sprachmodellen wie DeBERTa und Llama2:70b weniger CO2-Emissionen verursachen, um gute Ergebnisse zu erzielen.

Unsere erstellte Implementierung kann für zukünftige Vorhersagen in Wissensmanagementsystemen integriert werden und unterstützt die Vorhersage für neue Taxonomien und Datensätze.