Quantisierung

Einfach erklärt

Quantisierung ist eine Modell-Komprimierungstechnik, die die numerische Präzision der Modellgewichte reduziert – von 32-Bit-Fließkommazahlen (FP32) auf 16-Bit (FP16), 8-Bit (INT8) oder sogar 4-Bit (INT4). Das klingt nach einem Qualitätsverlust, ist aber in der Praxis erstaunlich verlustfrei: Modelle behalten 95-99% ihrer Qualität, werden aber 2-8× kleiner und schneller. Quantisierung ist der Hauptgrund, warum 70-Milliarden-Parameter-Modelle heute auf einem einzigen Consumer-GPU laufen können.

Quantisierung macht KI-Modelle kleiner und schneller, indem die Genauigkeit der gespeicherten Zahlen reduziert wird. Jedes Gewicht in einem neuronalen Netz ist eine Zahl – standardmäßig mit 32-Bit-Gleitkomma-Präzision (FP32). Quantisierung reduziert diese Präzision auf 16, 8 oder sogar 4 Bit.

Das klingt nach einem Kompromiss – und das ist es auch. Aber der Qualitätsverlust ist bei modernen Methoden überraschend gering, während die Einsparungen enorm sind: Ein 70-Milliarden-Parameter-Modell benötigt in FP16 rund 140 GB VRAM. Mit 4-Bit-Quantisierung schrumpft das auf 35 GB – und passt damit auf eine einzelne High-End-GPU. Das hat lokale LLMs erst möglich gemacht.

Bit-Präzision im Vergleich:

Präzision	Bytes pro Gewicht	70B-Modell	Qualität
FP32	4 Bytes	280 GB	Referenz
FP16	2 Bytes	140 GB	~Identisch
INT8	1 Byte	70 GB	Minimal schlechter
INT4	0.5 Bytes	35 GB	Leicht schlechter
INT2	0.25 Bytes	17.5 GB	Spürbar schlechter

Technischer Deep Dive

Quantisierungsmethoden

Post-Training Quantization (PTQ): Quantisierung nach dem Training, ohne Retraining.

• GPTQ: Gewichte werden schichtweise optimal quantisiert
• AWQ: Activation-Aware Quantization, schützt wichtige Gewichte
• GGUF: Format für CPU/GPU-Inferenz mit llama.cpp

Quantization-Aware Training (QAT): Quantisierung wird ins Training integriert.

• Bessere Qualität als PTQ
• Erfordert Retraining (teuer)
• Standard bei Modellen für Edge-Deployment

GGUF-Varianten

• Q2_K: 2-Bit, sehr klein, spürbare Qualitätseinbuße
• Q4_K_M: 4-Bit, guter Kompromiss aus Größe und Qualität
• Q5_K_M: 5-Bit, kaum Qualitätsverlust
• Q8_0: 8-Bit, fast identisch mit Original

Lokale LLMs mit Ollama

# Quantisiertes Modell herunterladen und starten
ollama pull llama3:8b-instruct-q4_K_M
ollama run llama3:8b-instruct-q4_K_M

# Oder via API
curl http://localhost:11434/api/generate -d '{
  "model": "llama3:8b-instruct-q4_K_M",
  "prompt": "Erkläre Quantisierung"
}'

Hardware-Anforderungen

Modell	Quantisierung	VRAM	Beispiel-GPU
7B	Q4_K_M	~4 GB	RTX 3060
13B	Q4_K_M	~8 GB	RTX 3070
70B	Q4_K_M	~35 GB	RTX 4090 / A100
70B	Q8_0	~70 GB	2x RTX 4090