Context Caching

Einfach erklärt

Context Caching speichert den verarbeiteten Kontext eines LLM-Aufrufs, sodass er bei der nächsten Anfrage nicht erneut berechnet werden muss.

Ohne Caching vs. mit Caching:

Ohne Caching (jeder Aufruf):
  [System-Prompt: 5K Tokens] + [Dokument: 20K Tokens] + [Frage: 50 Tokens]
  → 25.050 Tokens berechnet, voller Preis

  Nächste Frage: Dasselbe von vorn!
  → Wieder 25.050 Tokens, voller Preis

Mit Caching:
  Erster Aufruf: [System + Dokument: 25K] cachen + [Frage: 50 Tokens]
  → 25.050 Tokens, voller Preis

  Nächste Frage: [Cache-Hit: 25K] + [Frage: 50 Tokens]
  → Nur 50 neue Tokens + 25K gecacht (90 % günstiger)

Anbieter-Vergleich

Anbieter	Feature	Ersparnis	Cache-Dauer
Anthropic	Prompt Caching	90 % auf gecachte Tokens	5 Minuten (verlängerbar)
Google	Context Caching	75 % auf gecachte Tokens	Konfigurierbar (Stunden)
OpenAI	Prompt Caching	50 % auf gecachte Tokens	Automatisch
Self-Hosted	KV-Cache / Prefix Caching	Latenz-Reduktion	Session-basiert

Praxisbeispiel

import anthropic

client = anthropic.Anthropic()

# Großen Kontext einmal senden und cachen
response = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    system=[{
        "type": "text",
        "text": "Du bist ein Experte für..." + langes_dokument,
        "cache_control": {"type": "ephemeral"}  # ← Caching aktivieren
    }],
    messages=[{"role": "user", "content": "Frage 1"}]
)

# Zweiter Aufruf: Cache-Hit → 90 % günstiger
response2 = client.messages.create(
    # Gleicher System-Prompt → wird aus Cache geladen
    ...
    messages=[{"role": "user", "content": "Frage 2"}]
)

Wann cachen?

• ✅ Große System-Prompts (>1000 Tokens) die sich selten ändern
• ✅ Dokumente zu denen viele Fragen gestellt werden
• ✅ Few-Shot-Beispiele die bei allen Anfragen gleich sind
• ❌ Einmalige Anfragen ohne Wiederholung
• ❌ Sich ständig ändernder Kontext