Bearbeite Vortrag: Cost-Efficient Evaluation of ML Classifiers With Feature Attribution Annotations (Final BA Presentation)

Du bist aus dem folgenden Grund nicht berechtigt, die Seite zu bearbeiten:

Fehlende Berechtigung Bitte melde Dich mit Deinen KIT-Zugangsdaten an. Falls Du trotz Anmeldung diese Seite siehst, bitte eine/-n Wissensmanager/-in darum, Dich zur richtigen Gruppe hinzuzufügen.

Titel:	Cost-Efficient Evaluation of ML Classifiers With Feature Attribution Annotations (Final BA Presentation)	Zum ändern des Titels bitte anklicken und die Seite verschieben.
Vortragende(r):
E-Mail Vortragende(r):		Bitte beachten Sie: Durch den Eintrag hier wird die E-Mail-Adresse des/der Vortragenden öffentlich sichtbar. Daher bitte die KIT-Adresse verwenden.
Vortragssprache:
Vortragstyp:
Betreuer(in):		Falls ein Betreuer noch nicht in dieser Liste vorhanden ist, bitte auf der Seite Betreuer hinzufügen und dieses Formular neu laden.
Termin:
Vortragsmodus:
Kurzfassung:	To evaluate the loss of cognitive ML models, e.g., text or image classifier, accurately, one usually needs a lot of test data which are annotated manually by experts. In order to estimate accurately, the test data should be representative or else it would be hard to assess whether a model overfits, i.e., it uses spurious features of the images significantly to decide on its predictions.With techniques such as Feature Attribution, one can then compare important features that the model sees with their own expectations and can therefore be more confident whether or not he should trust the model. In this work, we propose a method that estimates the loss of image classifiers based on Feature-Attribution techniques. We use the classic approach for loss estimate as our benchmark to evaluate our proposed method. At the end of this work, our analysis reveals that our proposed method seems to have a similar loss estimate to that of the classic approach with a good image classifer and a representative test data. Based on our experiment, we expect that our proposed method could give a better loss estimate than the classic approach in cases where one has a biased test data and an image classifier which overfits.	Bitte maximal 150 Wörter verwenden.

Diese Seite beobachten

Abbrechen