Large Concept Models (LCM): Von Token-Prediction zu Neuro-Symbolic AI
Ein umfassender Leitfaden zur Evolution der Künstlichen Intelligenz: Lernen Sie, wie moderne KI-Systeme den Sprung von statistischer Mustererkennung zu tiefgreifendem semantischen Verständnis, symbolischem Grounding und konzeptbasiertem Reasoning meistern.
Large Concept Models gehen über reine Token-Vorhersage hinaus und modellieren explizit Konzepte, Relationen und Hierarchien. In diesem Seminar lernen Teilnehmende, wie konzeptbasierte Repräsentationen aufgebaut, trainiert und mit neuronalen Netzen kombiniert werden. Behandelt werden Symbol-Grounding, Konzept-Embedding, Neuro-Symbolic AI sowie der Einsatz von LCMs für Planung, Reasoning und Entscheidungsunterstützung.
Kursinhalt
Von Token-Prediction zu Concept Modeling
Entdecken Sie die Evolution der künstlichen Intelligenz von reinen Token-Prediction-Modellen hin zum fortschrittlichen Concept Modeling. Dieser Abschnitt beleuchtet die Limitationen statistischer Sprachmodelle und führt in die formale Definition sowie die konzeptuelle Abstraktion ein, ergänzt durch hochaktuelle Forschungsansätze wie Meta JEPA und den Abstraction and Reasoning Corpus (ARC).
- Limitationen reiner Token-basierter Modelle
- Was sind Konzepte? Definitionen und Formalisierung
- Konzeptuelle Abstraktion vs. statistische Muster
- Forschungslandschaft: Meta JEPA, Conceptual Spaces, Abstraction and Reasoning Corpus (ARC)
Wissensrepräsentation und Ontologien
Eine maschinenlesbare und strukturierte Wissensrepräsentation bildet das Fundament semantischer KI-Systeme. Erfahren Sie in diesem Modul, wie Knowledge Graphs, RDF und OWL funktionieren, und tauchen Sie tief in das Ontologie-Engineering sowie hierarchische Konzeptmodelle ein. Zudem wird die nahtlose Integration externer Wissensdatenbanken wie Wikidata und ConceptNet praxisnah erklärt.
- Knowledge Graphs: RDF, OWL und Property Graphs
- Ontologie-Engineering und Taxonomiedesign
- Relationale Strukturen und hierarchische Konzeptmodelle
- Integration externer Wissensdatenbanken (Wikidata, ConceptNet)
Symbol-Grounding und Konzept-Embedding
Das Symbol-Grounding-Problem stellt eine der größten Herausforderungen in der KI-Entwicklung dar. Wir analysieren modernste Konzept-Embeddings (wie TransE, RotatE und ComplEx) und zeigen auf, wie multimodale Grounding-Ansätze aus den Bereichen Vision und Language die Verknüpfung von symbolischen und subsymbolischen Repräsentationen ermöglichen.
- Das Symbol-Grounding-Problem
- Konzept-Embeddings: TransE, RotatE, ComplEx
- Multimodale Grounding-Ansätze (Vision-Language)
- Kombination von symbolischen und subsymbolischen Repräsentationen
Neuro-Symbolic AI: Architekturen und Methoden
Die Neuro-Symbolic AI vereint die immense Lernfähigkeit neuronaler Netze mit der Präzision und Logik symbolischen Reasonings. Dieser Bereich fokussiert sich auf leistungsstarke Architekturen wie Graph Neural Networks (GNNs) für Konzeptgraphen, differentiables logisches Schließen (Neural Theorem Proving) sowie zukunftsweisende Algorithmen für die Programmsynthese.
- Neuronale Netze mit symbolischem Reasoning koppeln
- Graph Neural Networks (GNNs) für Konzeptgraphen
- Differentiable Reasoning und Neural Theorem Proving
- Programmsynthese und Concept-Learning-Algorithmen
LCMs für Planung und Reasoning
Large Concept Models (LCMs) revolutionieren die Handlungsplanung und komplexe Lösungsfindungsprozesse. Ergründen Sie Prompting- und Reasoning-Strategien wie Chain-of-Thought und Tree-of-Thought. Erfahren Sie mehr über kausales Reasoning, Counterfactual-Analysen und den Aufbau robuster Entscheidungsunterstützungssysteme durch konzeptbasierte Planung.
- Chain-of-Thought und Tree-of-Thought als Reasoning-Strategien
- Konzeptbasierte Handlungsplanung
- Kausales Reasoning und Counterfactual-Analyse
- Entscheidungsunterstützungssysteme mit LCMs
Training und Evaluation von LCMs
Wie trainiert, optimiert und misst man die Leistung von Large Concept Models? Dieser Abschnitt behandelt spezialisierte Datensätze für konzeptbasiertes Lernen, Curriculum Learning sowie Self-Supervised Concept Discovery. Betrachten Sie zudem essenzielle Evaluationsmetriken für Abstraktionsfähigkeit anhand anerkannter Benchmarks wie ARC, SCAN, gSCAN und ConceptARC.
- Datensätze für konzeptbasiertes Lernen
- Trainingsstrategien: Curriculum Learning, Self-Supervised Concept Discovery
- Evaluationsmetriken: Abstraktionsfähigkeit, Compositional Generalization
- Benchmarks: ARC, SCAN, gSCAN, ConceptARC
Praktische Übung: LCM-Prototyp entwickeln
Setzen Sie das theoretische Wissen in die Praxis um und entwickeln Sie Schritt für Schritt einen eigenen LCM-Prototyp. In diesem Hands-on-Modul lernen Sie den Aufbau eines Wissensgraphen mit passenden Embeddings, implementieren eine Neuro-symbolische Architektur und erstellen eine vollständige Reasoning-Pipeline für einen konkreten Use Case inklusive einer Evaluation gegen rein neuronale Baselines.
- Wissensgraph aufbauen und mit Embeddings versehen
- Neuro-symbolische Architektur implementieren
- Reasoning-Pipeline für einen konkreten Use Case erstellen
- Evaluation und Vergleich mit rein neuronalen Baselines
Anforderungen
Ziel
zzgl. MwSt.