Grundlagen
Hyperparameter
Einstellungen, die vor dem Training eines KI-Modells manuell festgelegt werden und den Trainingsprozess steuern – im Gegensatz zu Parametern, die automatisch gelernt werden.
Einfach erklärt
Parameter sind die lernbaren Zahlenwerte in einem KI-Modell – die Gewichte und Biases der neuronalen Netze. Sie sind das “Gedächtnis” des Modells: Alles, was das Modell aus den Trainingsdaten gelernt hat, ist in diesen Zahlen kodiert. GPT-5 hat schätzungsweise über 1 Billion Parameter. Llama 4 Maverick hat 400 Milliarden (MoE). Die Anzahl der Parameter ist ein grober Indikator für die Kapazität eines Modells – aber nicht der einzige: Trainingsqualität, Datenmenge und Architektur sind genauso wichtig.
Parameter sind die Zahlenwerte, die ein KI-Modell während des Trainings lernt. Sie sind das “Gedächtnis” des Modells – die Summe aller gelernten Muster und Zusammenhänge.
Beispiel: Bei einer einfachen linearen Regression y = mx + b sind m (Steigung) und b (Achsenabschnitt) die Parameter. Bei einem LLM sind es Milliarden solcher Werte in den Gewichtsmatrizen des neuronalen Netzes.
Größenordnungen:
| Modell | Parameter | Speicher (FP16) |
|---|---|---|
| BERT-base | 110M | ~220 MB |
| Llama 4 Scout | 17B aktiv (MoE) | ~34 GB |
| Mistral Large 3 | 41B aktiv / 675B total | ~82 GB (aktiv) |
| GPT-5 (geschätzt) | 1T+ | ~2 TB+ |
Technischer Deep Dive
Arten von Parametern
- Gewichte (Weights): Multiplikatoren in den Matrixoperationen
- Biases: Verschiebungswerte, die zu den Gewichten addiert werden
- Embedding-Matrizen: Vektoren für Token-Repräsentationen
- Attention-Parameter: Q, K, V Projektionsmatrizen
Initialisierung
Parameter werden vor dem Training initialisiert:
- Xavier/Glorot: Standard für Sigmoid/Tanh-Aktivierungen
- He/Kaiming: Optimiert für ReLU-Aktivierungen
- Zufällig: Kleine Zufallswerte um 0
Schlechte Initialisierung kann das Training komplett verhindern (Vanishing/Exploding Gradients).
Parameterzahl berechnen
Für einen Transformer-Block:
- Self-Attention: 4 × d² (Q, K, V, Output-Projektion)
- Feed-Forward: 2 × d × 4d = 8d²
- Gesamt pro Block: ~12d²
- Gesamtmodell: ~12 × d² × N_layers + Vocab × d