Hyperparameter

Einfach erklärt

Hyperparameter sind die “Regler”, die du vor dem Training einstellst. Sie bestimmen, wie das Modell lernt – nicht was es lernt. Im Gegensatz zu den Modellparametern (Gewichten), die während des Trainings automatisch optimiert werden, müssen Hyperparameter manuell oder durch systematisches Suchen gefunden werden.

Die Wahl der richtigen Hyperparameter kann den Unterschied zwischen einem guten und einem schlechten Modell ausmachen. Eine zu hohe Lernrate führt dazu, dass das Modell über das Optimum hinausschießt. Eine zu niedrige Lernrate macht das Training sehr langsam oder lässt es in lokalen Minima stecken. Zu viele Epochen führen zu Overfitting. Hyperparameter-Tuning ist deshalb ein wesentlicher Teil des ML-Workflows – und oft zeitaufwändig.

Die wichtigsten Hyperparameter:

Hyperparameter	Beschreibung	Typische Werte
Learning Rate	Wie stark Gewichte angepasst werden	1e-5 bis 1e-2
Batch Size	Beispiele pro Trainingsschritt	8 - 512
Epochs	Durchläufe über den Datensatz	1 - 100
Dropout Rate	Anteil deaktivierter Neuronen	0.1 - 0.5
Weight Decay	Stärke der Regularisierung	1e-4 bis 1e-1

Technischer Deep Dive

Hyperparameter-Suche

Grid Search: Alle Kombinationen systematisch testen. Exponentiell teuer bei vielen Hyperparametern.

Random Search: Zufällige Kombinationen testen. Oft effizienter als Grid Search, da nicht alle Hyperparameter gleich wichtig sind.

Bayesian Optimization: Baut ein Modell der Hyperparameter-Performance und wählt vielversprechende Kombinationen. Am effizientesten, aber komplexer.

Learning Rate Schedules

• Constant: Feste Learning Rate (einfach, aber suboptimal)
• Step Decay: Reduktion nach festen Intervallen
• Cosine Annealing: Sanfte Reduktion nach Cosinus-Kurve
• Warmup + Decay: Langsamer Start, dann Reduktion (Standard bei Transformern)
• OneCycleLR: Ein Zyklus von niedrig → hoch → niedrig

Praxisbeispiele

Beispiel 1: Bildklassifikation

In einem Bildklassifikationsprojekt könnte die Wahl der Hyperparameter wie folgt aussehen:

• Learning Rate: 0.001 – um sicherzustellen, dass das Modell nicht zu schnell lernt und wichtige Features verpasst.
• Batch Size: 32 – ein guter Kompromiss zwischen Trainingseffizienz und Speicherbedarf.
• Epochs: 50 – um sicherzustellen, dass das Modell genügend Zeit hat, um von den Trainingsdaten zu lernen.

Beispiel 2: Textklassifikation

Für ein Projekt zur Sentiment-Analyse könnte man folgende Hyperparameter wählen:

• Learning Rate: 0.0001 – um ein Überanpassen zu vermeiden.
• Batch Size: 64 – um eine ausreichende Anzahl an Beispielen pro Schritt zu haben.
• Dropout Rate: 0.3 – um Überfitting zu reduzieren, da Textdaten oft sehr variabel sind.

Vor- und Nachteile von Hyperparameter-Optimierung

Vorteile

• Leistungssteigerung: Eine sorgfältige Auswahl der Hyperparameter kann die Modellgenauigkeit erheblich verbessern.
• Flexibilität: Hyperparameter bieten die Möglichkeit, das Modell an spezifische Anforderungen und Daten anzupassen.

Nachteile

• Rechenaufwand: Die Suche nach optimalen Hyperparametern kann sehr zeit- und ressourcenintensiv sein.
• Überanpassung: Eine zu feine Abstimmung kann dazu führen, dass das Modell auf die Trainingsdaten überangepasst wird und auf neuen Daten schlechter abschneidet.

Historischer Kontext

Die Bedeutung von Hyperparametern wurde in den letzten Jahren zunehmend erkannt, insbesondere mit dem Aufkommen komplexer Modelle wie tiefen neuronalen Netzen. Frühe Ansätze in der maschinellen Lernforschung konzentrierten sich oft nur auf die Modellarchitektur und die Trainingsdaten, während die Feinabstimmung der Hyperparameter als weniger wichtig erachtet wurde. Mit der Einführung von Techniken wie Grid Search und Random Search in den 2000er Jahren begann sich das Bewusstsein für die Rolle von Hyperparametern zu ändern. In der heutigen Zeit ist die Optimierung von Hyperparametern ein integraler Bestandteil des maschinellen Lernens und wird durch moderne Ansätze wie Bayesian Optimization weiter verfeinert.