Sofortantwort
Open-Weight-Modelle einfach erklärt
KI-Modelle mit öffentlich verfügbaren Gewichten zum Selbsthosten.
- Kurz gesagt
- Gewichte sind öffentlich verfügbar – das Modell kann lokal betrieben werden
- Typischer Einsatz
- Datenschutz-konforme KI, Custom Fine-Tuning, Kostenoptimierung
- Wichtig zu wissen
- Llama, Mistral, Gemma, Qwen, DeepSeek und ähnliche Modellfamilien als wichtige Beispiele
Open-Weight-Modelle im Überblick
Open-Weight-Modelle sind KI-Modelle, bei denen du die trainierten Parameter (Gewichte) herunterladen und auf eigener Hardware betreiben kannst. Du bist nicht auf eine API angewiesen.
Das Spektrum von geschlossen bis offen:
Geschlossen → → → → → Offen
API-Modell Hybrid-Modell Open Weight Open Source
(nur API) (API+Weights) (Weights) (Weights+Daten+Code)Wichtige Open-Weight-Modellfamilien
| Modellfamilie | Anbieter | Typische Stärke |
|---|---|---|
| Llama | Meta | Allround, großes Ökosystem |
| Mistral | Mistral AI | Effizienz, europäischer Anbieter |
| Gemma | Kompakte Modelle und Entwickler-Ökosystem | |
| Qwen | Alibaba | Mehrsprachigkeit und Code |
| DeepSeek | DeepSeek | Reasoning und effiziente Varianten |
| Phi | Microsoft | Kompakte, effiziente Modelle |
Wann Open Weight vs. API?
| Aspekt | Open Weight | Proprietäre API-Modelle |
|---|---|---|
| Datenschutz | Datenfluss und Infrastruktur selbst gestalten | Vertrags- und Datenbedingungen des Anbieters prüfen |
| Kosten | Hardware, Betrieb, Auslastung und Personal | Modelltarif, Volumen und Zusatzfunktionen |
| Qualität | Für den eigenen Use Case evaluieren | Für den eigenen Use Case evaluieren |
| Anpassbarkeit | Fine-Tuning und Inferenz-Stack kontrollieren, soweit Lizenz erlaubt | Anbieterfunktionen und unterstützte Anpassungen nutzen |
| Verfügbarkeit | Eigene Kapazität und Wartung sicherstellen | API- und Anbieterabhängigkeit einplanen |
Lokal betreiben
# Mit Ollama (einfachster Weg)
ollama pull llama3.3
ollama run llama3.3 "Erkläre Quantisierung in 3 Sätzen"
# Mit llama.cpp (maximale Kontrolle)
./llama-cli -m llama-3.3-8b-q4_k_m.gguf -p "Erkläre Quantisierung"Quantisierung für eigene Hardware
| Quantisierung | Typischer Effekt | Vor dem Einsatz prüfen |
|---|---|---|
| Höhere Präzision | Mehr Speicherbedarf, geringere numerische Abweichung | Passt Modell plus Kontext in den verfügbaren Speicher? |
| Mittlere Quantisierung | Kompromiss aus Speicher, Tempo und Qualität | Bleiben die wichtigen Aufgaben nach der Umstellung zuverlässig? |
| Starke Quantisierung | Spart deutlich Speicher | Sind Qualitätsverlust, Formatfehler und Latenz für den Use Case noch akzeptabel? |
Es gibt keine allgemeine VRAM- oder Qualitätsgrenze: Format, Modellarchitektur, Kontextlänge, Batch-Größe und Laufzeitumgebung verändern das Ergebnis. Miss deshalb immer mit eigenen Aufgaben und der vorgesehenen Hardware.