Institutsseminar/2021-05-14

Termin (Alle Termine)
	Datum	Freitag, 14. Mai 2021
	Uhrzeit	11:30 – 13:15 Uhr (Dauer: 105 min)
	Ort
	Webkonferenz	https://conf.dfn.de/webapp/conference/979160755
	Vorheriger Termin	Fr 7. Mai 2021
	Nächster Termin	Fr 21. Mai 2021

Die Dauer dieses Termins beträgt derzeit 105 Minuten. Bitte ggf. einen weiteren Raum reservieren und den Termin auf zwei Räume aufteilen. Dazu unter Termine eine zusätzliche Terminseite anlegen und die Vorträge neu zuweisen.

Termin in Kalender importieren: iCal (Download)

Vorträge

Vortragende(r)	Nobel Liaw
Titel	Cost-Efficient Evaluation of ML Classifiers With Feature Attribution Annotations (Proposal)
Vortragstyp	Bachelorarbeit
Betreuer(in)	Moritz Renftle
Vortragssprache
Vortragsmodus
Kurzfassung	Conventional evaluation of an ML classifier uses test data to estimate its expected loss. For "cognitive" ML tasks like image or text classification, this requires that experts annotate a large and representative test data set, which can be expensive. In this thesis, we explore another approach for estimating the expected loss of an ML classifier. The aim is to enhance test data with additional expert knowledge. Inspired by recent feature attribution techniques, such as LIME or Saliency Maps, the idea is that experts annotate inputs not only with desired classes, but also with desired feature attributions. We then explore different methods to derive a large conventional test data set based on few such feature attribution annotations. We empirically evaluate the loss estimates of our approach against ground-truth estimates on large existing test data sets, with a focus on the tradeoff between the number of expert annotations and the achieved estimation accuracy.

Vortragende(r)	Luc Mercatoris
Titel	Erklärbare k-Portfolios von SAT-Solvern (Verteidigung)
Vortragstyp	Bachelorarbeit
Betreuer(in)	Jakob Bach
Vortragssprache
Vortragsmodus
Kurzfassung	Das SAT-Problem ist ein bekanntes NP-vollständiges Problem aus der theoretischen Informatik. Es handelt es sich um die Problemstellung, ob für eine gegebene aussagenlogische Formel G eine Variablenbelegung existiert, sodass G erfüllt ist. Portfolio-basierte Methoden zum Lösen von SAT-Instanzen nutzen die komplementäre Stärke von einer Menge von verschiedenen SAT-Algorithmen aus. Hierbei wird aus einer gegebenen Menge von Algorithmen, dem sogenannten Portfolio, mittels eines Vorhersagemodells derjenige Algorithmus ausgewählt, der die bestmögliche Performance für die betrachtete SAT-Instanz verspricht. In dieser Arbeit interessieren wir uns besonders für erklärbare Portfolios, sprich für Portfolios, für die man nachvollziehen kann, wie die Vorhersage zu ihrem Ergebnis kommt. Gute Erklärbarkeit resultiert einerseits aus einer geringen Größe des Portfolios, andererseits aus einer reduzierten Komplexität des Vorhersagemodells. Im Vordergrund der Arbeit liegt das effiziente Finden von kleinen Portfolios aus einer größeren Menge von Algorithmen, sowie den Einfluss der Portfoliogröße auf die Performance des Portfolios.

Vortragende(r)	Jonathan Bechtle
Titel	Evaluation of Automated Feature Generation Methods
Vortragstyp	Masterarbeit
Betreuer(in)	Vadim Arzamasov
Vortragssprache
Vortragsmodus
Kurzfassung	Manual feature engineering is a time consuming and costly activity, when developing new Machine Learning applications, as it involves manual labor of a domain expert. Therefore, efforts have been made to automate the feature generation process. However, there exists no large benchmark of these Automated Feature Generation methods. It is therefore not obvious which method performs well in combination with specific Machine Learning models and what the strengths and weaknesses of these methods are. In this thesis we present an evaluation framework for Automated Feature Generation methods, that is integrated into the scikit-learn framework for Python. We integrate nine Automated Feature Generation methods into this framework. We further evaluate the methods on 91 datasets for classification problems. The datasets in our evaluation have up to 58 features and 12,958 observations. As Machine Learning models we investigate five models including state of the art models like XGBoost.

Neuen Vortrag erstellen

Hinweise