Context Engineering

Context Engineering im Überblick

Context Engineering ist die Kunst, dem LLM genau die richtigen Informationen zu geben – nicht zu wenig, nicht zu viel, in der richtigen Reihenfolge und im richtigen Format.

Das Problem:

Zu wenig Kontext:
"Schreib eine E-Mail an den Kunden."
→ LLM weiß nicht: Welcher Kunde? Welches Thema? Welcher Ton?

Zu viel Kontext:
[Sehr viel Dokumentation]
"Beantworte die Frage."
→ Modell kann relevante Teile schlechter finden oder falsch gewichten

Optimaler Kontext:
[Relevante Auszüge] + [Kundenhistorie] + [Tonalitäts-Guidelines]
"Schreib eine E-Mail zur Reklamation."
→ Modell hat die wichtigsten Informationen kompakt verfügbar

Die drei Dimensionen:

Technisch betrachtet

Lost in the Middle

LLMs können Informationen aus der Mitte langer Kontexte je nach Modell und Aufgabe schlechter nutzen:

Kontext-Position:  [Anfang] ... [Mitte] ... [Ende]
Aufmerksamkeit:    ████████░░░░░░░░░░░░████████
                   Hoch     Niedrig      Hoch

Implikation:

• Wichtigste Infos gut sichtbar platzieren
• Instruktionen nahe an der Aufgabe halten
• weniger kritische Infos klar strukturieren oder komprimieren

Kontext-Struktur

Unstrukturiert (schlecht):

Hier sind einige Informationen: Der Kunde hat kürzlich bestellt. 
Er ist Bestandskunde. Seine letzte Beschwerde betraf eine 
Lieferverzögerung. Es gibt eine Rückgaberichtlinie...

Strukturiert (besser):

<customer>
  <name>Kunde</name>
  <since>Bestandskunde</since>
  <last_order>letzte Bestellung</last_order>
</customer>

<complaint>
  <type>Lieferverzögerung</type>
  <date>aktuelles Ticket</date>
</complaint>

<policy>
  <returns>geltende Rückgaberichtlinie</returns>
</policy>

<task>
Schreibe eine Entschuldigungs-E-Mail an den Kunden.
</task>

Retrieval-Strategien

1. Semantic Search (Basis):

relevant_chunks = vector_db.search(query, top_k=retrieval_limit)
context = "\n".join(relevant_chunks)

2. Reranking (besser):

candidates = vector_db.search(query, top_k=candidate_limit)
reranked = reranker.rerank(query, candidates, top_k=final_context_limit)
context = "\n".join(reranked)

3. Contextual Retrieval:

# Chunks mit Kontext anreichern vor dem Embedding
for chunk in chunks:
    chunk.context = llm.generate(
        f"Beschreibe kurz, worum es in diesem Abschnitt geht "
        f"im Kontext des Gesamtdokuments: {chunk.text}"
    )
    chunk.embedding = embed(chunk.context + chunk.text)

Kontext-Kompression

Wenn Kontext zu lang:

def compress_context(documents, max_tokens):
    if count_tokens(documents) <= max_tokens:
        return documents
    
    # Option 1: Zusammenfassen
    summary = llm.summarize(documents)
    
    # Option 2: Extraktiv kürzen
    key_sentences = extract_key_sentences(documents)
    
    # Option 3: Unwichtiges entfernen
    filtered = filter_by_relevance(documents, query)
    
    return filtered

Kontext für verschiedene Use Cases

RAG:

[System Prompt]
[Retrieved Documents - nach Relevanz sortiert]
[User Query]

Coding Assistant:

[System Prompt mit Coding-Guidelines]
[Aktuelle Datei]
[Relevante importierte Dateien]
[Error Message / Task]

Chatbot:

[System Prompt]
[Zusammenfassung älterer Konversation]
[Letzte N Nachrichten]
[Aktuelle Nachricht]

Agent:

[System Prompt mit Tools]
[Aufgabenbeschreibung]
[Bisherige Schritte und Ergebnisse]
[Aktuelle Beobachtung]
[Nächste Aktion?]

Best Practices