Prompt Caching

Prompt Caching im Überblick

Prompt Caching löst ein konkretes Kostenproblem bei LLM-Anwendungen: Viele Anfragen teilen denselben langen Kontext – einen ausführlichen System-Prompt, ein Dokument, das analysiert werden soll, oder eine umfangreiche Sammlung von Beispielen. Ohne Caching muss das Modell diesen Kontext bei jeder Anfrage neu verarbeiten und berechnet ihn als Input-Tokens.

Mit Prompt Caching wird der verarbeitete Kontext zwischengespeichert. Folge-Anfragen, die denselben Kontext nutzen, können dadurch deutlich weniger Input-Kosten und Latenz verursachen. Bei einem System-Prompt mit vielen Tokens und zahlreichen täglichen Anfragen kann das ein erheblicher Kostenvorteil sein.

Wann Prompt Caching besonders lohnt:

• System-Prompts mit mehr als 1.000 Tokens
• Dokument-Analyse mit vielen Fragen zum selben Dokument
• RAG-Systeme, die dieselben Chunks häufig abrufen
• Chatbots mit langer Konversationshistorie als Kontext

Technisch betrachtet

Anthropic Prompt Caching

import anthropic

client = anthropic.Anthropic()

response = client.messages.create(
    model="DEIN_AKTUELLES_CLAUDE_MODELL",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": "Du bist ein hilfreicher Assistent...",
        },
        {
            "type": "text",
            "text": "<sehr_langes_dokument>...</sehr_langes_dokument>",
            "cache_control": {"type": "ephemeral"}  # Dieser Teil wird gecacht
        }
    ],
    messages=[{"role": "user", "content": "Fasse das Dokument zusammen."}]
)

# Bei der nächsten Anfrage mit demselben Dokument:
# → Cache-Hit: weniger wiederholte Prompt-Verarbeitung für den Dokument-Teil
print(response.usage.cache_read_input_tokens)   # Tokens aus Cache
print(response.usage.cache_creation_input_tokens)  # Tokens zum Cache hinzugefügt

OpenAI Automatisches Caching

OpenAI cached automatisch – keine Code-Änderungen nötig:

# Normaler API-Aufruf – Caching-Voraussetzungen in der aktuellen Dokumentation prüfen
response = client.chat.completions.create(
    model="gpt-5.6-terra",
    messages=[
        {"role": "system", "content": langer_system_prompt},  # Wird automatisch gecacht
        {"role": "user", "content": "Neue Frage"}
    ]
)

# Kosten-Check
print(response.usage.prompt_tokens_details.cached_tokens)

Kostenvergleich