LLM Grundlagen
Large Language Model (LLM)
Ein KI-Modell, das auf riesigen Textmengen trainiert wurde und menschenähnliche Sprache verstehen und generieren kann.
Einfach erklärt
Ein Foundation Model ist ein großes, auf riesigen Datenmengen vortrainiertes Modell, das als Basis für viele verschiedene Downstream-Aufgaben dient. Der Begriff wurde 2021 von Stanford geprägt und beschreibt Modelle wie GPT-5, Claude, Gemini oder BERT. Das Besondere: Ein einziges Modell kann durch Fine-Tuning oder Prompting für Dutzende verschiedene Aufgaben eingesetzt werden – Übersetzung, Zusammenfassung, Code-Generierung, Klassifikation. Das hat die KI-Entwicklung fundamental verändert.
Ein Foundation Model ist ein großes, vortrainiertes KI-Modell, das als Basis für viele verschiedene Anwendungen dient. Statt für jede Aufgabe ein neues Modell zu trainieren, passt man das Foundation Model an.
Warum ist das revolutionär?
Früher: Für jede Aufgabe ein eigenes Modell trainieren (teuer, langsam). Heute: Ein Foundation Model für viele Aufgaben nutzen (effizient, flexibel).
Beispiele:
| Modalität | Foundation Models |
|---|---|
| Text | GPT-5, Claude, Llama 4, Mistral Large 3 |
| Bild | DALL-E, Stable Diffusion, Midjourney |
| Audio | Whisper, Bark |
| Video | Sora, Runway |
| Multimodal | GPT-5, Gemini 3 |
Technischer Deep Dive
Das Foundation Model Paradigma
Traditionell:
Aufgabe A → Daten sammeln → Modell trainieren → Modell A
Aufgabe B → Daten sammeln → Modell trainieren → Modell B
Aufgabe C → Daten sammeln → Modell trainieren → Modell C
Mit Foundation Models:
Riesige Daten → Foundation Model trainieren
↓
┌───────┼───────┐
↓ ↓ ↓
Aufgabe A B C
(Prompting/Fine-Tuning)Eigenschaften
- Scale: Milliarden bis Billionen Parameter
- Generalist: Kann viele Aufgaben ohne spezifisches Training
- Adaptierbar: Durch Prompting oder Fine-Tuning spezialisierbar
- Emergent Abilities: Fähigkeiten, die erst bei großer Skala erscheinen
Anpassungsmethoden
| Methode | Aufwand | Flexibilität | Kosten |
|---|---|---|---|
| Prompting | Minimal | Hoch | Niedrig |
| Few-Shot | Gering | Mittel | Niedrig |
| Fine-Tuning | Mittel | Hoch | Mittel |
| LoRA | Gering | Hoch | Niedrig |
Risiken und Herausforderungen
- Bias: Foundation Models übernehmen Bias aus Trainingsdaten
- Halluzinationen: Erfinden plausibel klingende Falschinformationen
- Sicherheit: Können für schädliche Zwecke missbraucht werden
- Abhängigkeit: Wenige Anbieter kontrollieren die wichtigsten Modelle