Prompt Compression

Prompt Compression im Überblick

Jedes Token kostet Geld und Zeit. Bei RAG-Systemen werden oft mehrere Dokumente in den Prompt eingefügt – viele davon enthalten redundante oder irrelevante Informationen. Prompt Compression entfernt diese überflüssigen Teile, bevor der Prompt an das LLM gesendet wird.

Das Ziel: Gleiche oder bessere Antwortqualität bei deutlich weniger Tokens.

Kompressionsstrategien:

Technisch betrachtet

LLMLingua in Python

from llmlingua import PromptCompressor

compressor = PromptCompressor(
    model_name="microsoft/llmlingua-2-bert-base-multilingual-cased-meetingbank",
    use_llmlingua2=True,
)

# Langer RAG-Kontext
context = """
[Dokument 1] ... sehr langer Text ...
[Dokument 2] ... weiterer langer Text ...
[Dokument 3] ... noch mehr Text ...
"""

compressed = compressor.compress_prompt(
    context,
    rate=0.5,          # 50% der Tokens behalten
    force_tokens=['\n'],  # Zeilenumbrüche immer behalten
)

print(f"Original: {compressed['origin_tokens']} Tokens")
print(f"Komprimiert: {compressed['compressed_tokens']} Tokens")
print(f"Einsparung: {compressed['ratio']:.1f}x")

RAG-Pipeline mit Kompression

async def rag_with_compression(query: str) -> str:
    # 1. Dokumente abrufen
    docs = await vector_db.search(query, top_k=10)
    context = "\n\n".join([d.text for d in docs])

    # 2. Kontext komprimieren (vor LLM-Call)
    compressed = compressor.compress_prompt(
        context,
        question=query,  # Query-aware Kompression
        rate=0.4,
    )

    # 3. LLM mit komprimiertem Kontext aufrufen
    response = await llm.generate(
        f"Kontext:\n{compressed['compressed_prompt']}\n\nFrage: {query}"
    )
    return response