Context Caching

Einfach erklärt

Context Caching speichert den verarbeiteten Kontext eines LLM-Aufrufs, sodass er bei der nächsten Anfrage nicht erneut berechnet werden muss.

Ohne Caching vs. mit Caching:

Ohne Caching (jeder Aufruf):
  [System-Prompt] + [Dokument] + [Frage]
  → kompletter Kontext wird erneut verarbeitet

  Nächste Frage: Dasselbe von vorn
  → wieder vollständige Kontextverarbeitung

Mit Caching:
  Erster Aufruf: [System + Dokument] cachen + [Frage]
  → Kontext wird vorbereitet und gespeichert

  Nächste Frage: [Cache-Hit] + [neue Frage]
  → nur der neue Teil muss vollständig verarbeitet werden

Anbieter- und Architekturvergleich

Ansatz	Feature	Nutzen	Cache-Verhalten
Anbieter-API	Prompt oder Context Caching	reduzierte Kosten oder Latenz bei Cache-Hits	abhängig von Modell, TTL und API-Regeln
Managed Plattform	Caching für große Kontexte	wiederholte Dokument- oder Systemkontexte günstiger nutzen	oft konfigurierbar
Self-Hosted	KV-Cache / Prefix Caching	Latenz- und Durchsatzoptimierung	abhängig von Inferenz-Engine und Session-Handling

Praxisbeispiel

import anthropic

client = anthropic.Anthropic()

# Großen Kontext einmal senden und cachen
response = client.messages.create(
    model="chat-model",
    max_tokens=response_token_limit,
    system=[{
        "type": "text",
        "text": "Du bist ein Experte für..." + langes_dokument,
        "cache_control": {"type": "ephemeral"}  # ← Caching aktivieren
    }],
    messages=[{"role": "user", "content": "Frage 1"}]
)

# Zweiter Aufruf: Cache-Hit kann Kosten oder Latenz reduzieren
response2 = client.messages.create(
    # Gleicher System-Prompt → wird aus Cache geladen
    ...
    messages=[{"role": "user", "content": "Frage 2"}]
)

Wann cachen?

• ✅ Große System-Prompts die sich selten ändern
• ✅ Dokumente zu denen viele Fragen gestellt werden
• ✅ Few-Shot-Beispiele die bei allen Anfragen gleich sind
• ❌ Einmalige Anfragen ohne Wiederholung
• ❌ Sich ständig ändernder Kontext