Kontextfenster

Kontextfenster im Überblick

Das Kontextfenster (Context Window) ist die maximale Textmenge, die ein Sprachmodell auf einmal verarbeiten kann. Alles, was du dem Modell schickst (Anweisungen, Kontext, Frage) und alles, was es antwortet, muss in dieses Fenster passen.

Was zählt zum Kontextfenster?

┌─────────────────────────────────────┐
│         Kontextfenster (z.B. 128K)  │
│                                     │
│  ┌─────────────────────────────┐    │
│  │ System Prompt (~500 Tokens) │    │
│  ├─────────────────────────────┤    │
│  │ Konversationsverlauf        │    │
│  │ (~10.000 Tokens)            │    │
│  ├─────────────────────────────┤    │
│  │ RAG-Kontext / Dokumente     │    │
│  │ (~5.000 Tokens)             │    │
│  ├─────────────────────────────┤    │
│  │ Aktuelle Frage (~100 Tokens)│    │
│  ├─────────────────────────────┤    │
│  │ Antwort (~2.000 Tokens)     │    │
│  └─────────────────────────────┘    │
│                                     │
│  Verbleibend: ~110.400 Tokens       │
└─────────────────────────────────────┘

Kontextfenster im Vergleich (Stand Juli 2026 – die Werte ändern sich mit jeder Modellgeneration):

Die angegebenen Maximalwerte sagen wenig über die nutzbare Qualität aus: Viele Modelle verlieren bei sehr langen Kontexten an Präzision (siehe “Lost in the Middle”).

Technisch betrachtet

Warum ist das Kontextfenster begrenzt?

Technische Gründe:

• Quadratische Komplexität: Self-Attention berechnet Beziehungen zwischen allen Token-Paaren → O(n²) Rechenaufwand
• Speicherbedarf: Der KV-Cache wächst linear mit der Kontextlänge
• Trainingskosten: Modelle müssen auf langen Sequenzen trainiert werden

Beispielrechnung:

128K Tokens × 128K Tokens = 16,4 Milliarden Attention-Berechnungen
256K Tokens × 256K Tokens = 65,5 Milliarden (4x mehr!)

Techniken für längere Kontexte

Positional Encoding:

• RoPE (Rotary Position Embedding): Standard in modernen LLMs
• ALiBi: Addiert einen Bias basierend auf der Distanz zwischen Tokens
• YaRN / NTK-Scaling: Erweitert RoPE auf längere Kontexte als trainiert

Effiziente Attention:

• FlashAttention: Optimierte GPU-Speicherzugriffe, keine Approximation
• Sliding Window Attention: Jedes Token achtet nur auf die letzten N Tokens
• Sparse Attention: Nur ausgewählte Token-Paare berechnen

KV-Cache-Optimierung:

• Grouped Query Attention (GQA): Reduziert KV-Cache-Größe
• Multi-Query Attention (MQA): Noch aggressivere Reduktion
• PagedAttention (vLLM): Effiziente Speicherverwaltung für den KV-Cache

Lost in the Middle

Ein bekanntes Problem: LLMs nutzen Informationen am Anfang und Ende des Kontexts besser als in der Mitte.

Auswirkungen:

• Wichtige Informationen in der Mitte langer Kontexte werden übersehen
• Die Qualität der Antworten sinkt bei sehr langen Kontexten
• Besonders relevant für RAG mit vielen Dokumenten

Gegenmaßnahmen:

• Wichtigste Informationen an den Anfang oder das Ende des Kontexts setzen
• Relevanteste Dokumente zuerst platzieren
• Kontext auf das Wesentliche beschränken statt alles einzufügen
• Reranking der Retrieval-Ergebnisse nach Relevanz

Strategien für Kontextmanagement

Sliding Window:

• Nur die letzten N Nachrichten behalten
• Einfach zu implementieren, aber Kontext geht verloren

Zusammenfassung:

• Ältere Konversationsteile zusammenfassen
• Komprimiert den Kontext bei Erhalt der wichtigsten Informationen
• Zusätzlicher LLM-Call nötig

RAG statt langer Kontext:

• Nur relevante Informationen in den Kontext laden
• Effizienter als den gesamten Kontext zu füllen
• Bessere Ergebnisse bei großen Wissensbasen

Hierarchisches Chunking:

• Dokumente auf verschiedenen Abstraktionsebenen speichern
• Erst grobe Zusammenfassung, dann Details bei Bedarf
• Optimale Nutzung des verfügbaren Kontexts