Sommersemester 2025

Deep Learning: Architectures & Methods

Wir tauchen tief in moderne neuronale Netze ein: Optimisation, CNNs, RNNs, Transformer, generative Modelle und verantwortungsvolle Anwendung. Ergänzt durch praktische Labs und optionale Projekte.

Zurück zur Lehrübersicht Zum Moodle-Kurs

Organisatorisches

Moodle: Kommunikation, Materialien, Aufgaben und Projektabgaben laufen über den Moodle-Kurs. Bitte melden Sie sich frühzeitig an.
Vorlesung: Montags, 11:30 – 13:10 Uhr, S3|06 / 051.
Übungen: Mittwochs, 11:40 – 13:20 Uhr, S2|02 / C205.
Sprache: Englisch.

Team & Kontakt

Verantwortlich (SoSe 25):
Hikaru Shindo · AIML Lab, TU Darmstadt

Kontakt:
Fragen bitte über den Moodle-Kurs oder per Mail an hikaru.shindo@tu-darmstadt.de stellen.

Anmeldung:
Für Prüfungen und Credit Points melden Sie sich zusätzlich in TUCaN an.

Motivation & Inhalte

Deep Learning treibt aktuelle KI-Systeme in Vision, Sprache, Robotik und Wissenschaft. Wir kombinieren Video-basierte Selbststudien mit vertiefenden Präsenzsitzungen, Diskussionen und Coding-Labs.

Die Lehrveranstaltung folgt u. a. den Kursen CS231n (Stanford) sowie CS182/282A (Berkeley). Zu jeder Woche sehen Sie ausgewählte Videos, bereiten Fragen vor und diskutieren diese in der Vorlesung. Ergänzend stellen wir eigene Folien, Tutorien und Projekte bereit.

Optimisation

Gradientenverfahren, Adaptive Optimizer, Regularisierung und Trainingstricks.

Architekturen

CNNs, RNNs/LSTMs, Attention, Transformer & Multimodalität.

Generative KI

VAEs, Flows, GANs, probabilistische Schaltkreise und Diffusion.

Praxis & Verantwortung

Notebook-Tutorials, Projekte, ethische Fragestellungen und sichere Anwendungen.

Vorlesungsplan

Bitte prüfen Sie den Moodle-Kurs für kurzfristige Änderungen. Ein Stern kennzeichnet das jeweils erwartete Hauptvideo.

Hinweis: Folien, Aufzeichnungen, Aufgabenstellungen und Projektinformationen stellen wir ausschließlich im Moodle-Kurs (Login erforderlich) bereit.

#	Datum	Thema	Videos & Ressourcen
1 Einführung	28.04.2025	Kursüberblick, Computer Vision, historische Motivation.	*CS231n Lecture 1 Dive Deep into DL (Smola)
Self-Study	28.04.2025	Bildklassifikation, kNN, Evaluierung, lineare Modelle.	CS231n Lecture 2 CS231n Lecture 3
2 Optimisation	05.05.2025	SGD, Momentum, Adam, praktische Trainingsstrategien.	CS231n Lecture 6 CS231n Lecture 7 *CSW182/282A Lecture 4
3 Backpropagation	12.05.2025	Autodiff, Regularisierung, Hyperparameter, praktische Tipps.	*CS231n Lecture 4 CSW182/282A Lecture 5
4 Aktivierungsfunktionen	19.05.2025	Nonlinearitäten, Normalisierung, Trainingstricks.	*CS231n Lecture 5
5 CNNs 1	02.06.2025	Convolution, Pooling, moderne Architekturen.	*CS231n Lecture 5 CSW182/282A Lecture 6
6 CNNs 2	09.06.2025	ResNet, GoogLeNet, Detektion, Skip-Verbindungen.	*CS231n Lecture 9 CSW182/282A Lecture 8
7 RNNs & Sequenzen	23.06.2025	LSTMs, GRUs, Sprachmodelle, Sequence-to-Sequence.	*CS231n Lecture 10 LSTM/GRU Guide
8 Generative Modelle	30.06.2025	Autoencoder, GANs, Probabilistische Modelle.	*CS231n Lecture 12 CS231n Guest Lecture: GANs
9 Probabilistische Modelle	07.07.2025	Energy-based Modelle, Probabilistische Graphmodelle.	CSW182/282A Lecture 9 CSW182/282A Lecture 10
10 Deep Reinforcement Learning	14.07.2025	Value-Based RL, Policy Gradients, Actor-Critic.	DeepMind x UCL Lecture 1 DeepMind x UCL Lecture 4
11 Transformer	14.07.2025	Attention, Transformer-Architektur, gesellschaftliche Auswirkungen.	*Transformer Networks (Poupart) On the Dangers of Stochastic Parrots
12 Q&A	21.07.2025	Offene Fragen zu Projekten, Hausaufgaben und Klausurvorbereitung.	–

Zusätzliche Aufzeichnungen vergangener Semester (2020/2021) sind im Moodle-Archiv verlinkt.

Assignments & Übungen

Neben dem wöchentlichen „5-Questions“-Format bearbeiten Sie optionale Coding-Tutorials und ein frei wählbares Deep-Learning-Projekt.

Alle aktuellen Aufgaben, Vorlagen und Projekt-Updates finden Sie im Moodle-Kurs (Login erforderlich).