Sofortantwort
Open-Weight-Modelle einfach erklärt
KI-Modelle mit öffentlich verfügbaren Gewichten zum Selbsthosten.
- Kurz gesagt
- Gewichte sind öffentlich verfügbar – das Modell kann lokal betrieben werden
- Typischer Einsatz
- Datenschutz-konforme KI, Custom Fine-Tuning, Kostenoptimierung
- Wichtig zu wissen
- Llama, Mistral, Gemma, Qwen, DeepSeek und ähnliche Modellfamilien als wichtige Beispiele
Open-Weight-Modelle im Überblick
Open-Weight-Modelle sind KI-Modelle, bei denen du die trainierten Parameter (Gewichte) herunterladen und auf eigener Hardware betreiben kannst. Du bist nicht auf eine API angewiesen.
Das Spektrum von geschlossen bis offen:
Geschlossen → → → → → Offen
API-Modell Hybrid-Modell Open Weight Open Source
(nur API) (API+Weights) (Weights) (Weights+Daten+Code)Wichtige Open-Weight-Modellfamilien
| Modellfamilie | Anbieter | Typische Stärke |
|---|---|---|
| Llama | Meta | Allround, großes Ökosystem |
| Mistral | Mistral AI | Effizienz, europäischer Anbieter |
| Gemma | Kompakte Modelle und Entwickler-Ökosystem | |
| Qwen | Alibaba | Mehrsprachigkeit und Code |
| DeepSeek | DeepSeek | Reasoning und effiziente Varianten |
| Phi | Microsoft | Kompakte, effiziente Modelle |
Wann Open Weight vs. API?
| Aspekt | Open Weight | Proprietäre API-Modelle |
|---|---|---|
| Datenschutz | ✅ Volle Kontrolle | ⚠️ Daten gehen an Anbieter |
| Kosten (niedrig) | ❌ Infrastruktur nötig | ✅ Pay-per-Token |
| Kosten (hoch) | ✅ Kann bei hohem Volumen günstiger werden | ❌ Kann bei hohem Volumen teuer werden |
| Qualität (Top) | ⚠️ Knapp dahinter | ✅ Frontier-Modelle |
| Anpassbarkeit | ✅ Fine-Tuning, Merging | ⚠️ Eingeschränkt |
| Verfügbarkeit | ✅ Kein Vendor Lock-in | ⚠️ API-Abhängigkeit |
Lokal betreiben
# Mit Ollama (einfachster Weg)
ollama pull llama3.3
ollama run llama3.3 "Erkläre Quantisierung in 3 Sätzen"
# Mit llama.cpp (maximale Kontrolle)
./llama-cli -m llama-3.3-8b-q4_k_m.gguf -p "Erkläre Quantisierung"Quantisierung für Consumer-Hardware
| Quantisierung | Speicher (7B) | Qualitätsverlust | Hardware |
|---|---|---|---|
| FP16 | ~14 GB | Keiner | GPU 16+ GB |
| Q8 | ~7 GB | Minimal | GPU 8+ GB |
| Q4_K_M | ~4 GB | Gering | GPU 6+ GB / CPU |
| Q2 | ~2.5 GB | Spürbar | Laptop |