Grundlagen
Gradient Descent
Der fundamentale Optimierungsalgorithmus im Machine Learning, der die Parameter eines Modells schrittweise anpasst, um den Fehler zu minimieren.
Einfach erklärt
Die Lernrate (englisch Learning Rate) ist einer der wichtigsten Hyperparameter beim Training von Machine-Learning-Modellen. Sie legt fest, wie groß die Schritte sind, mit denen das Modell seine Parameter bei jedem Trainingsschritt anpasst.
Beim Training berechnet das Modell über den Gradienten, in welche Richtung die Parameter geändert werden sollten, um den Fehler zu verringern. Die Lernrate bestimmt, wie weit das Modell in diese Richtung geht. Sie ist damit die Stellschraube zwischen „schnell, aber riskant” und „sicher, aber langsam”.
Technischer Deep Dive
Die Gratwanderung
| Lernrate | Effekt |
|---|---|
| zu hoch | Loss springt oder explodiert, Training divergiert |
| zu niedrig | Training extrem langsam, bleibt evtl. in flachem Minimum stecken |
| passend | zügige, stabile Konvergenz zu einer guten Lösung |
Im Gradient-Descent-Update taucht sie als Faktor η auf:
w_neu = w_alt − η · ∂L/∂wEin größeres η bedeutet größere Schritte.
Learning Rate Schedules
Eine feste Lernrate ist selten optimal. Üblich ist, anfangs größere Schritte zu machen und sie mit der Zeit zu verkleinern:
- Warm-up – sanfter Start mit ansteigender Lernrate
- Step Decay – stufenweise Reduktion nach festen Epochen
- Cosine Annealing – sanftes Auslaufen entlang einer Kosinuskurve
Adaptive Optimierer
Verfahren wie Adam passen die effektive Schrittweite pro Parameter automatisch an. Sie machen die Wahl der Lernrate robuster, ersetzen aber nicht ganz das Gefühl für eine sinnvolle Ausgangsgröße.