Normalization vs. Standardization

Normalization vs. Standardization im Überblick

Beide Methoden skalieren Features, aber unterschiedlich.

Normalization (Min-Max):
x_norm = (x - min) / (max - min)
→ Werte zwischen 0 und 1

Standardization (Z-Score):
x_std = (x - mean) / std
→ Mittelwert 0, Standardabweichung 1

Technisch betrachtet

Vergleich

Code

from sklearn.preprocessing import MinMaxScaler, StandardScaler

# Normalization
norm = MinMaxScaler()
X_norm = norm.fit_transform(X)

# Standardization
std = StandardScaler()
X_std = std.fit_transform(X)

Wann welche Methode?

Eine pauschale Antwort gibt es nicht, aber einige Faustregeln haben sich bewährt:

• Normalization (Min-Max), wenn der Algorithmus Werte in einem festen Bereich erwartet – etwa bei Bilddaten (Pixel auf [0,1]) oder wenn Features anschließend direkt als beschränkte Eingaben weiterverwendet werden.
• Standardization (Z-Score), wenn die Daten annähernd normalverteilt sind oder Ausreißer enthalten. Da ein einzelner Extremwert bei Min-Max den gesamten Wertebereich staucht, ist Standardization hier meist die robustere Wahl.
• Keine Skalierung, wenn das Modell nicht darauf angewiesen ist: Entscheidungsbäume und Random Forests splitten anhand von Schwellenwerten und sind gegenüber monotonen Transformationen unempfindlich.

Der Ausreißer-Effekt konkret

Angenommen, ein Feature enthält überwiegend Werte in einem moderaten Bereich – und einen einzigen extremen Ausreißer. Bei Min-Max-Normalisierung landen fast alle regulären Werte zusammengequetscht nahe 0, während der Ausreißer allein den Wert 1 belegt. Die Information im regulären Wertebereich geht praktisch verloren. Standardization wird zwar ebenfalls vom Ausreißer beeinflusst (er verschiebt Mittelwert und Standardabweichung), erhält die relativen Abstände der regulären Werte aber deutlich besser.

Typische Fehler in der Praxis

RobustScaler als dritte Option

Wenn Ausreißer ein ernstes Problem sind, lohnt der Blick auf den RobustScaler: Er zentriert mit dem Median und skaliert mit dem Interquartilsabstand (IQR). Beide Statistiken sind gegenüber Extremwerten robust.

from sklearn.preprocessing import RobustScaler

scaler = RobustScaler()  # (x - median) / IQR
X_robust = scaler.fit_transform(X)

Für die Wahl gilt: Verteilung der Features ansehen (ein Histogramm genügt oft), Ausreißer prüfen und die Anforderungen des Algorithmus kennen – dann ist die Entscheidung meist eindeutig.