Grundlagen
Modell
Eine mathematische Repräsentation, die aus Daten gelernte Muster enthält und Vorhersagen oder Entscheidungen für neue Eingaben treffen kann.
Einfach erklärt
Inferenz ist der Produktionsbetrieb eines KI-Modells: Das trainierte Modell bekommt neue, ungesehene Eingaben und generiert Vorhersagen. Training passiert einmal – Inferenz passiert millionenfach täglich. Bei einem Dienst wie ChatGPT ist jede Antwort ein Inferenz-Vorgang. Die Kosten, Latenz und Skalierbarkeit von KI-Produkten werden fast ausschließlich durch die Inferenz-Effizienz bestimmt – nicht durch das Training. Deshalb ist Inference Optimization eines der wichtigsten Felder in der KI-Produktion.
Inferenz ist der Moment, in dem ein KI-Modell tatsächlich arbeitet. Nach dem Training wird das Modell eingesetzt, um für neue Eingaben Vorhersagen zu treffen – das ist Inferenz. Training passiert einmal; Inferenz passiert millionenfach.
Inferenz-Optimierung ist deshalb oft wichtiger als Training-Optimierung. Ein Modell, das in der Produktion 500ms pro Anfrage braucht, ist für Echtzeit-Anwendungen unbrauchbar. Techniken wie Quantisierung, Batching, Caching und spezielle Inferenz-Hardware (wie Nvidias TensorRT oder Apples Neural Engine) reduzieren Latenz und Kosten. Bei LLMs ist Inferenz besonders teuer, weil jedes Token sequenziell generiert wird – deshalb ist KV-Caching eine der wichtigsten Optimierungen.
Training vs. Inferenz:
| Aspekt | Training | Inferenz |
|---|---|---|
| Ziel | Modell lernt | Modell wird angewendet |
| Häufigkeit | Einmalig/selten | Millionenfach |
| Kosten | Sehr hoch (einmalig) | Gering (pro Anfrage) |
| Hardware | Viele GPUs | Weniger GPUs/CPUs |
| Geschwindigkeit | Stunden-Monate | Millisekunden-Sekunden |
Technischer Deep Dive
LLM-Inferenz
Bei LLMs besteht Inferenz aus zwei Phasen:
1. Prefill (Prompt-Verarbeitung):
- Alle Input-Tokens werden parallel verarbeitet
- KV-Cache wird aufgebaut
- Compute-bound (GPU-Rechenleistung ist der Flaschenhals)
2. Decode (Token-Generierung):
- Tokens werden nacheinander generiert
- Jedes neue Token nutzt den KV-Cache
- Memory-bound (Speicherbandbreite ist der Flaschenhals)
Optimierungen
- KV-Cache: Speichert berechnete Key/Value-Vektoren für schnellere Generierung
- Continuous Batching: Mehrere Anfragen gleichzeitig verarbeiten
- Quantisierung: Reduzierte Präzision (FP16 → INT8 → INT4)
- Speculative Decoding: Kleines Modell schlägt Tokens vor, großes verifiziert
- PagedAttention: Effiziente Speicherverwaltung (vLLM)
Metriken
- TTFT (Time to First Token): Latenz bis zum ersten generierten Token
- TPS (Tokens per Second): Generierungsgeschwindigkeit
- Throughput: Anfragen pro Sekunde
- Latency P50/P95/P99: Antwortzeiten-Verteilung