Gradient Clipping

Gradient Clipping im Überblick

Gradient Clipping begrenzt Gradienten, damit sehr große Updates das Training weniger stark destabilisieren.

Ohne Clipping:
Gradient: [sehr groß, negativ groß, sehr groß]  → Training kann instabil werden

Mit Clipping:
Gradient: skaliert auf definierte Norm  → Update bleibt kontrollierter

Technisch betrachtet

PyTorch Implementation

import torch

# Clip by Norm
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=max_grad_norm)

# Clip by Value
torch.nn.utils.clip_grad_value_(model.parameters(), clip_value=clip_value)

# Training Loop
optimizer.zero_grad()
loss.backward()
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=max_grad_norm)
optimizer.step()

Gradient Norm monitoren

def get_grad_norm(model):
    total_norm = 0
    for p in model.parameters():
        if p.grad is not None:
            total_norm += p.grad.data.norm(2).item() ** 2
    return total_norm ** 0.5

# Logging
grad_norm = get_grad_norm(model)
logger.log({"grad_norm": grad_norm})

Mathematische Intuition

Clipping by Norm skaliert den gesamten Gradientenvektor, wenn seine L2-Norm einen Schwellenwert c überschreitet:

g_clipped = g × min(1, c / ||g||)

Ist die Norm kleiner als c, passiert nichts. Ist sie größer, wird der Vektor auf Länge c gestaucht – die Richtung bleibt exakt erhalten, nur die Schrittweite schrumpft. Clipping by Value dagegen kappt jedes Element einzeln auf ein Intervall:

g_i_clipped = max(-c, min(c, g_i))

Das kann die Richtung des Updates verändern: Wenn nur einzelne Komponenten gekappt werden, zeigt der resultierende Vektor woanders hin als der Original-Gradient. Deshalb ist Clip by Norm in der Praxis die verbreitetere Wahl, insbesondere beim Training großer Sequenzmodelle.

Warum Gradienten explodieren

Bei Backpropagation durch viele Schichten oder Zeitschritte werden Jacobi-Matrizen miteinander multipliziert. Liegen deren größte Singulärwerte über 1, wächst das Produkt exponentiell mit der Tiefe – der Gradient „explodiert”. Das Gegenstück ist das Vanishing-Gradient-Problem bei Werten unter 1. Rekurrente Netze sind besonders anfällig, weil dieselbe Gewichtsmatrix in jedem Zeitschritt erneut in die Kette eingeht. Clipping behebt die Ursache nicht, verhindert aber, dass ein einzelner extremer Batch die Gewichte in eine unbrauchbare Region katapultiert, aus der sich das Training oft nicht mehr erholt.

Clip by Norm vs. Clip by Value

Typische Fehler in der Praxis

• Clipping nach optimizer.step() aufrufen: Die Reihenfolge ist zwingend loss.backward() → Clipping → optimizer.step(). Danach ist das Update bereits passiert.
• Clipping als Ersatz für Fehlersuche: Wenn die Gradient-Norm dauerhaft am Clipping-Limit klebt, kaschiert das meist ein anderes Problem – zu hohe Lernrate, fehlende Normalisierung oder fehlerhafte Daten. Das Monitoring der ungeclippten Norm zeigt, wie oft tatsächlich geclippt wird.
• Mixed-Precision-Training ignorieren: Bei Training mit Loss Scaling (z. B. torch.cuda.amp) müssen die Gradienten vor dem Clipping unskaliert werden (scaler.unscale_(optimizer)), sonst vergleicht man skalierte Werte mit dem Schwellenwert.
• Denselben Wert blind übernehmen: Ein Clipping-Wert aus einem anderen Projekt passt selten, weil die typische Gradient-Norm von Architektur, Loss-Skala und Batchgröße abhängt. Besser: einige Schritte ohne Clipping loggen und den Schwellenwert oberhalb der normalen Schwankungsbreite ansetzen.