LLM Grundlagen
Large Language Model (LLM)
Ein KI-Modell, das auf riesigen Textmengen trainiert wurde und menschenähnliche Sprache verstehen und generieren kann.
Einfach erklärt
Scaling Laws sind empirische Gesetzmäßigkeiten, die beschreiben, wie die Performance von LLMs mit mehr Parametern, mehr Trainingsdaten und mehr Rechenleistung wächst. Die bahnbrechenden Erkenntnisse von OpenAI (2020) und DeepMind (Chinchilla, 2022) zeigten: Die Verbesserung folgt vorhersehbaren Power Laws. Das ermöglicht es, die Performance eines Modells vorherzusagen, bevor es trainiert wird – und optimale Verhältnisse von Parametern zu Trainingsdaten zu berechnen.
Scaling Laws beschreiben, wie LLM-Performance mit Ressourcen wächst. Mehr Parameter, mehr Daten, mehr Compute → bessere Performance. Aber: Die Verbesserung folgt einem Power Law – jede Verdopplung bringt nur konstante Verbesserung.
Die Kernformel:
Loss ∝ 1 / (Parameter^α × Daten^β × Compute^γ)
α, β, γ ≈ 0.05-0.1 (je nach Studie)Was bedeutet das praktisch?
Um den Loss um 10% zu senken, brauchst du etwa 10x mehr Ressourcen. Das erklärt, warum GPT-5 so viel teurer zu trainieren war als GPT-4.
Technischer Deep Dive
Die drei Skalierungsdimensionen
| Dimension | Beschreibung | Kosten |
|---|---|---|
| Parameter (N) | Anzahl der Modellgewichte | VRAM, Inferenz-Kosten |
| Daten (D) | Anzahl der Trainings-Tokens | Daten-Beschaffung |
| Compute (C) | FLOPs für Training | GPU-Stunden |
Chinchilla Scaling
Das Chinchilla-Paper zeigte: Optimale Skalierung bedeutet gleichermaßen Parameter und Daten erhöhen.
Optimal: Tokens ≈ 20 × Parameter
Beispiel:
- 7B Modell → 140B Tokens Training
- 70B Modell → 1.4T Tokens TrainingViele frühere Modelle (GPT-3, Gopher) waren “undertrained” – zu viele Parameter, zu wenig Training.
Emergent Abilities
Manche Fähigkeiten erscheinen plötzlich ab einer bestimmten Größe:
Modellgröße: 1B 10B 100B
Arithmetik: ❌ ❌ ✅
CoT Reasoning: ❌ ❌ ✅Diese “emergent abilities” sind schwer vorherzusagen und ein aktives Forschungsgebiet.