LLM Grundlagen
Large Language Model (LLM)
Ein KI-Modell, das auf riesigen Textmengen trainiert wurde und menschenähnliche Sprache verstehen und generieren kann.
Einfach erklärt
GPT (Generative Pre-trained Transformer) ist eine Familie von Sprachmodellen, die von OpenAI entwickelt wurde. Das Prinzip: Ein riesiges neuronales Netz wird auf Milliarden von Texten trainiert und lernt dabei, das nächste Wort vorherzusagen.
Die GPT-Evolution:
GPT-1 (2018): 117M Parameter → "Proof of Concept"
GPT-2 (2019): 1.5B Parameter → "Zu gefährlich zum Veröffentlichen"
GPT-3 (2020): 175B Parameter → "Few-Shot Learning funktioniert"
GPT-3.5 (2022): ChatGPT → "KI für alle"
GPT-4 (2023): ~1.8T Parameter → "Multimodal, deutlich besser"
GPT-4o (2024): Optimiert → "Schneller, günstiger, multimodal"
o1 (2024): Reasoning-Modell → "Internes Chain-of-Thought"
o3 (2025): Reasoning v2 → "Stärkstes Reasoning, Benchmarks dominiert"
GPT-4.5 (Feb 2025): Forschungsmodell → "Größtes Modell, breites Wissen, EQ"
GPT-5 (Aug 2025): Unified System → "Fast + Reasoning in einem, „Pfad zur AGI“"
GPT-5.2 (Dez 2025): Frontier-Modell → "Stärkstes Modell für Professional Work"
GPT-5.3-Codex (Feb 2026): Agentic Coding → "Stärkstes Coding-Modell, Codex Desktop App"Technischer Deep Dive
Architektur
GPT nutzt einen Decoder-only Transformer – im Gegensatz zu BERT (Encoder-only) oder T5 (Encoder-Decoder). Das bedeutet: GPT generiert Text von links nach rechts, Token für Token.
Die zwei Modell-Linien (ab 2024)
OpenAI verfolgt zwei parallele Strategien:
| Linie | Modelle | Stärke | Ansatz |
|---|---|---|---|
| GPT-Linie | GPT-5, GPT-5.2, GPT-5.3-Codex | Breites Wissen, Kreativität, Agentic Coding | Größere Pre-Training-Daten + integriertes Reasoning |
| o-Linie (Legacy) | o1, o3, o4-mini | Reasoning, Mathe, Code, Logik | Internes Chain-of-Thought (in GPT-5 integriert) |
o1/o3 (Reasoning-Modelle, Legacy)
- Nutzen “extended thinking” – das Modell denkt intern nach bevor es antwortet
- Deutlich besser bei Mathe, Code, Wissenschaft und komplexer Logik
- Reasoning-Fähigkeiten sind seit GPT-5 in die Hauptmodelle integriert
- o3 dominierte Benchmarks wie AIME, GPQA und SWE-bench
GPT-4.5 (Februar 2025)
- Größtes OpenAI-Modell, fokussiert auf breites Weltwissen
- Weniger Halluzinationen durch besseres Pre-Training
- Stärker bei kreativen Aufgaben und emotionaler Intelligenz
- Teurer als GPT-4o, positioniert als Forschungsmodell
GPT-5 (August 2025)
- Unified System: Fast-Modell + Reasoning-Modell + automatischer Router in einem
- Kein manuelles Modell-Wechseln mehr – das System entscheidet selbst
- Vier Varianten:
gpt-5-main,gpt-5-main-mini,gpt-5-thinking,gpt-5-thinking-mini - Agentic Capabilities: kann eigenständig Browser nutzen und Desktop-Aufgaben ausführen
- Sam Altman: “ein bedeutender Schritt auf dem Weg zur AGI”
GPT-5.2 (Dezember 2025)
- Frontier-Modell für Professional Work und Long-running Agents
- Enthält
GPT-5.2 Thinkingmit Extended Thinking für komplexes Reasoning - Laut OpenAI: Enterprise-Nutzer sparen 40–60 % Zeit durch KI-Assistenz
GPT-5.3-Codex (Februar 2026)
- Aktuell stärkstes OpenAI-Modell für Coding (Stand Feb 2026)
- Kombiniert Frontier-Coding-Performance mit GPT-5.2-Reasoning
- Codex Desktop App für agentic Workflows (Browser, Terminal, Dateisystem)
- Laut OpenAI: „Das leistungsfähigste agentische Coding-Modell“
Training in drei Phasen
- Pre-Training: Auf riesigen Textmengen das nächste Token vorhersagen
- Supervised Fine-Tuning (SFT): Mit menschlich geschriebenen Beispiel-Dialogen
- RLHF: Menschliches Feedback nutzen um Antworten zu verbessern
Limitierungen
- Halluzinationen: Generiert überzeugend klingende aber falsche Informationen (GPT-4.5 reduziert dies deutlich)
- Wissens-Cutoff: Kennt keine Ereignisse nach dem Trainingsdatum (Web-Browsing als Workaround)
- Kontextfenster: 256K Tokens bei GPT-5 – aber Qualität sinkt bei sehr langen Kontexten
- Reasoning: GPT-5/5.2 Thinking kann echtes mehrstufiges Reasoning durch interne Denkschritte
- Kosten: GPT-5.2 Thinking ist deutlich teurer als GPT-5 mini – für einfache Aufgaben oft überdimensioniert