Zum Hauptinhalt springen

Masterclass: Large Language Models – Von der Theorie zur Implementierung

Ein intensiver 5-Tages-Kurs zur Architektur, zum Training und zum Deployment moderner KI-Sprachmodelle.

Dieses Seminar vermittelt den vollständigen Weg von der mathematischen Grundlage der Transformer-Architektur bis zur Implementierung eines eigenen Large Language Models (LLM). Teilnehmende lernen Attention-Mechanismen, Tokenisierung, Pretraining-Strategien sowie Fine-Tuning und Evaluation kennen. Der Fokus liegt auf dem praktischen Aufbau eines funktionsfähigen LLMs (Decoder-only), inklusive Trainingspipelines, Optimierungsstrategien und Skalierungsfragen.

Kursinhalt

Mathematische Grundlagen & Transformer-Architektur für KI-Modelle

Dieser Abschnitt legt die mathematische Basis für das Verständnis von Transformers. Er behandelt die essenzielle Self-Attention-Mechanik, Multi-Head Attention sowie moderne Einbettungsverfahren wie RoPE. Ideal für Entwickler, die die interne Logik von Sequence-to-Sequence-Modellen tiefgreifend verstehen wollen.

  • Erwartungsabgleich und individuelle Zieldefinition
  • Evolution von Sequence-to-Sequence-Modellen
  • Self-Attention: Formulierung, Intuition und Komplexität
  • Multi-Head Attention
  • Positional Encoding: sinusoidal & Rotary Positional Embeddings (RoPE)
  • Residual Connections und Layer Normalization
  • Feed-Forward-Netzwerke im Transformer-Block

LLM-Architekturdesign, GPT-Modelle & moderne Tokenisierung

Hier lernen Teilnehmer alles über das Design von LLM-Architekturen. Der Fokus liegt auf Tokenisierungs-Algorithmen (BPE, SentencePiece) und dem Vergleich von Encoder-only (BERT), Decoder-only (GPT) und Encoder-Decoder (T5) Modellen sowie den entscheidenden Skalierungsgesetzen (Scaling Laws).

  • Subword-Tokenisierung: BPE, WordPiece, SentencePiece
  • Vocabulary-Design und Trade-offs
  • Embedding-Dimensionierung und Kontextfenster
  • Architekturvarianten:
    • Encoder-only (BERT)
    • Decoder-only (GPT)
    • Encoder-Decoder (T5)
  • Aufbau eines Decoder-only Modells
  • Kausale Maskierung
  • Skalierungsgesetze und Modellgrößenplanung

LLM-Pretraining, Distributed Training & GPU-Infrastruktur

Das Training von Large Language Models erfordert massive Rechenleistung. Dieser Bereich deckt die technische Infrastruktur ab, von Distributed Training (Data & Pipeline Parallelism) bis hin zu Mixed Precision Training (FP16/BF16) und GPU-Cluster-Konfigurationen für effizientes Causal Language Modeling.

  • Datensammlung, Bereinigung und Deduplizierung
  • Causal Language Modeling Objective
  • Datenlader, Batching und Sequence Packing
  • Distributed Training:
    • Data Parallelism
    • Model / Pipeline Parallelism
  • Mixed Precision Training (FP16 / BF16)
  • GPU-Cluster-Konfiguration

Anforderungen

Lineare Algebra, Wahrscheinlichkeitsrechnung, Python, Deep Learning (PyTorch/TensorFlow)

Ziel

Die Teilnehmenden sind nach Abschluss in der Lage, eigenständig ein Transformer-basiertes Sprachmodell zu entwerfen, zu implementieren und zu trainieren. Sie verstehen die mathematischen Grundlagen, können Trainings- und Optimierungsprozesse konfigurieren und ein Modell für spezifische Anwendungsfälle fine-tunen und evaluieren.
Masterclass: Large Language Models – Von der Theorie zur Implementierung
 5 Tag(e)
  An einem Ort
2,990.00 €
 zzgl. MwSt.