Seminar Natural Language Models SS 2021
Semester: | Sommersemester 2021 |
LP (ECTS): | 3 |
SWS: | 2 |
Studiengang: | Master Informatics, Master Information Engineering |
Ansprechpartner: | Jan Keim |
- Ort und Zeit der Lehrveranstaltung
unregelmäßig, siehe Beschreibungstext | |
unbekannt |
- ILIAS-Bereich
https://ilias.studium.kit.edu/goto.php?target=crs 1370363&client id=produktiv
- Microsoft Teams
http://connect.studium.kit.edu/teams/join/DmI2LrSr3a
- Seite im Vorlesungsverzeichnis
Dieses Seminar richtet sich an Studierende aus den Fachrichtungen Informatik (inkl. Wirtschaftsinformatik) und GeistSoz. Nähere Infos finden Sie im Campus-System. Sollte Ihr Studienfach nicht vertreten sein, melden Sie sich bitte beim Ansprechpartner Jan Keim.
Beschreibung
This seminar is triggered by recent and groundbreaking advancements in the performance of language-processing neural networks, so-called neural language models (LMs). State-of-the-art systems such as OpenAI’s GPT-2, GPT-3, Google’s T5 or Microsoft's DeBERTa are capable of reliably answering (even complex) open questions about a given text, and of generating longer (stylistically matching) text themselves on a given subject. The results have astonished both experts and laypersons. What’s more, LMs achieve state-of-the art results nearly across all natural language processing benchmarks (such as question answering, text summarization, translation, reading comprehension, or natural language inference). Therefore, neural LMs are sometimes considered to be the most promising technological path towards general AI. Yet, even if this were true, there would still be a long way to go: The NLP community is producing a continuous stream of studies that reveal LMs' limitations (and in the same push their boundaries ever further). These developments are not just revolutionizing the field of NLP and AI, but will have major repercussions for how we read, write and study texts in the humanities and social sciences. Vice versa, insights from disciplines such as communication science, computational sociology, formal epistemology, and philosophy of language might help us to better assess, understand and improve LMs. Accordingly, this seminar is jointly held by scholars from computer science, the social sciences, and the humanities; it can be attended by students from the faculty of informatics as well as from the faculty of social sciences and humanities.
Ablauf
Das Seminar kann auf Deutsch oder Englisch bearbeitet werden. Gute Englische Kenntnisse sind aber aufgrund der fast ausschließlich englischen Literatur und den meist englischsprachigen Modellen sehr vorteilhaft.
Anmeldung
Anmelden können sich Studierende der Informatik und Wirtschaftsinformatik sowie aus dem Bereich GeistSoz (siehe Campus-System).
Am 01. April 2021 um 14 Uhr wird die Anmeldung im ILIAS freigeschaltet. Die Anmeldung ist bis 26. April um 13:00 Uhr möglich. Sie können sich anmelden, indem Sie sich beim ILIAS-Kurs bewerben. Wir werden nach dem first-come-first-serve-Prinzip die Anmeldungen annehmen, wobei wir gleichzeitig versuchen, eine gleichmäßige Verteilung zwischen Studierenden der Informatik/Wirtschaftsinformatik und aus dem Bereich GeistSoz. zu gewährleisten. Bevor sie angenommen werden UND wenn bereits alle Plätze belegt sind, landen sie vorerst auf der Warteliste. Sollten Sie zum Zeitpunkt des ersten Infotreffens noch auf der Warteliste sein,können Sie trotzdem zum ersten Infotreffen erscheinen. Oftmals treten Personen ihren Platz nicht an, wodurch auch Personen auf der Warteliste das Seminar belegen können.
Auftaktveranstaltung
Die Auftaktveranstaltung wird am 29. April 2021 um 12 Uhr im Microsoft Teams Kanal des Seminars (weitere Infos im ILIAS) stattfinden. In dieser Veranstaltung stellen wir den genauen Ablauf des Seminars sowie die verschiedenen Themen vor.
- Lesegruppe
- Praktikum Ingenieursmäßige Software-Entwicklung SS20
- Praktikum Modellgetriebene Software-Entwicklung SS20
- Praktikum Werkzeuge für Agile Modellierung SS20
- Praxis der Software-Entwicklung SS20
- Proseminar Software-Anforderungen und -Entwurf SS20
- Proseminar Software-Katastrophen SS20
- Vorlesung Requirements Engineering SS20
- Vorlesung Software-Architektur und -Qualität SS20
- Übung Programmieren SS20