Ziele der Veranstaltung

• Sie erhalten Einblick in die Möglichkeiten und Grenzen großskaliger Modelle, einschließlich deren Einsatz in multimodalen Settings.
• Sie lernen, State-of-the-Art Machine-Learning-Modelle auf reale Problemstellungen anzuwenden.
• Sie entwickeln praktische Fähigkeiten im Aufbau LLM-gestützter Chat Interfaces.
• Sie erlernen Techniken zur Verbesserung generativer Modellausgaben mittels Retrieval-Augmented Generation.

Themen

• Data Modalities und Storage
• Representation Learning
• Text Models
• Discriminative Image Models
• Joint Embedding Methods
• Generative Image Models
• Retrieval Systems
• Evaluation Methods

Empfohlene und verpflichtende Voraussetzungen

• Data Mining: Basic Concepts
• Introduction to Machine Learning
• Sicherer Umgang mit Python, idealerweise mit Erfahrung in PyTorch.
• Ein moderner Laptop wird benötigt, z.B. das Lenovo T14 Gen 2 (2022).