KV-Cache

Einfach erklärt

Der KV-Cache speichert Zwischenergebnisse der Attention-Berechnung. Ohne Cache müsste das Modell bei jedem neuen Token alle vorherigen Tokens neu verarbeiten – das wäre extrem langsam.

Warum ist das wichtig?

Ohne KV-Cache (Token 100 generieren):
-> Berechne Attention für Token 1-99 neu
-> Dann Token 100
-> O(n²) Komplexität pro Token

Mit KV-Cache:
-> Keys/Values für Token 1-99 aus Cache
-> Nur Token 100 neu berechnen
-> O(n) Komplexität pro Token

Der Trade-off:

Schnellere Inferenz ↔ Mehr VRAM-Verbrauch

Der KV-Cache ist oft der Flaschenhals für lange Kontexte und große Batch-Größen.

Technischer Deep Dive

Wie Attention funktioniert

Attention(Q, K, V) = softmax(QK^T / √d) × V

Q = Query (aktuelles Token)
K = Keys (alle bisherigen Tokens)
V = Values (alle bisherigen Tokens)

Der KV-Cache speichert K und V für alle bisherigen Tokens.

Speicherverbrauch

KV-Cache-Größe = 2 × num_layers × num_heads × head_dim × seq_len × batch_size × dtype_size

Beispiel (Llama 70B, 4K Kontext, Batch 1):
= 2 × 80 × 64 × 128 × 4096 × 1 × 2 bytes
≈ 10.7 GB

Optimierungen

Technik	Beschreibung	Ersparnis
PagedAttention	Nicht-kontinuierlicher Speicher	50-90%
Quantisierung	FP16 → INT8 Cache	50%
Sliding Window	Nur letzte N Tokens cachen	Variabel
Prefix Caching	Gemeinsamer Cache für gleiche Prefixe	Variabel

vLLM PagedAttention

# vLLM verwaltet KV-Cache automatisch
from vllm import LLM

llm = LLM(model="meta-llama/Llama-2-70b-chat-hf")
# PagedAttention ist standardmäßig aktiviert