Seminar Natural Language Models SS 2021

Seminar Natural Language Models (5012005)

Semester:	Sommersemester 2021
LP (ECTS):	3
SWS:	2
Studiengang:	Master Informatics, Master Information Engineering
Ansprechpartner:	Jan Keim

Ort und Zeit der Lehrveranstaltung

	unregelmäßig, siehe Beschreibungstext
	unbekannt

ILIAS-Bereich

https://ilias.studium.kit.edu/goto.php?target=crs 1370363&client id=produktiv

Microsoft Teams

http://connect.studium.kit.edu/teams/join/DmI2LrSr3a

Seite im Vorlesungsverzeichnis

https://campus.studium.kit.edu/ev/7x3w625KSdSMsLfm1GJ aQ/de

Dieses Seminar richtet sich an Studierende aus den Fachrichtungen Informatik (inkl. Wirtschaftsinformatik) und GeistSoz. Nähere Infos finden Sie im Campus-System. Sollte Ihr Studienfach nicht vertreten sein, melden Sie sich bitte beim Ansprechpartner Jan Keim.

Beschreibung

This seminar is triggered by recent and groundbreaking advancements in the performance of language-processing neural networks, so-called neural language models (LMs). State-of-the-art systems such as OpenAI’s GPT-2, GPT-3, Google’s T5 or Microsoft's DeBERTa are capable of reliably answering (even complex) open questions about a given text, and of generating longer (stylistically matching) text themselves on a given subject. The results have astonished both experts and laypersons. What’s more, LMs achieve state-of-the art results nearly across all natural language processing benchmarks (such as question answering, text summarization, translation, reading comprehension, or natural language inference). Therefore, neural LMs are sometimes considered to be the most promising technological path towards general AI. Yet, even if this were true, there would still be a long way to go: The NLP community is producing a continuous stream of studies that reveal LMs' limitations (and in the same push their boundaries ever further). These developments are not just revolutionizing the field of NLP and AI, but will have major repercussions for how we read, write and study texts in the humanities and social sciences. Vice versa, insights from disciplines such as communication science, computational sociology, formal epistemology, and philosophy of language might help us to better assess, understand and improve LMs. Accordingly, this seminar is jointly held by scholars from computer science, the social sciences, and the humanities; it can be attended by students from the faculty of informatics as well as from the faculty of social sciences and humanities.

Ablauf

Das Seminar kann auf Deutsch oder Englisch bearbeitet werden. Gute Englische Kenntnisse sind aber aufgrund der fast ausschließlich englischen Literatur und den meist englischsprachigen Modellen sehr vorteilhaft.

Anmeldung

Anmelden können sich Studierende der Informatik und Wirtschaftsinformatik sowie aus dem Bereich GeistSoz (siehe Campus-System).

Am 01. April 2021 um 14 Uhr wird die Anmeldung im ILIAS freigeschaltet. Die Anmeldung ist bis 26. April um 13:00 Uhr möglich. Sie können sich anmelden, indem Sie sich beim ILIAS-Kurs bewerben. Wir werden nach dem first-come-first-serve-Prinzip die Anmeldungen annehmen, wobei wir gleichzeitig versuchen, eine gleichmäßige Verteilung zwischen Studierenden der Informatik/Wirtschaftsinformatik und aus dem Bereich GeistSoz. zu gewährleisten. Bevor sie angenommen werden UND wenn bereits alle Plätze belegt sind, landen sie vorerst auf der Warteliste. Sollten Sie zum Zeitpunkt des ersten Infotreffens noch auf der Warteliste sein,können Sie trotzdem zum ersten Infotreffen erscheinen. Oftmals treten Personen ihren Platz nicht an, wodurch auch Personen auf der Warteliste das Seminar belegen können.

Auftaktveranstaltung

Die Auftaktveranstaltung wird am 29. April 2021 um 12 Uhr im Microsoft Teams Kanal des Seminars (weitere Infos im ILIAS) stattfinden. In dieser Veranstaltung stellen wir den genauen Ablauf des Seminars sowie die verschiedenen Themen vor.

Lehrangebot Sommersemester 2020

Übersicht

Lehrangebot nach Studiengang

Informatik

Bachelor · Master

Informationswirtschaft

Bachelor · Master