Feature Scaling

Feature Scaling im Überblick

Feature Scaling bringt alle Features auf vergleichbare Wertebereiche.

Problem ohne Scaling:

Feature 1: kleiner Wertebereich
Feature 2: großer Wertebereich

→ Das Feature mit großem Wertebereich kann Distanzberechnungen dominieren

Technisch betrachtet

Methoden

Sklearn

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# Fit auf Train, Transform auf beide
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)  # Nur transform!

Warum Scaling für Gradient Descent wichtig ist

Bei stark unterschiedlich skalierten Features ist die Loss-Landschaft ein langgezogenes Tal statt einer runden Schüssel: Der Gradient zeigt dann selten direkt zum Minimum, und der Optimierer zickzackt sich langsam voran. Die Lernrate muss sich am empfindlichsten (größten) Feature orientieren und ist für alle anderen zu klein. Skalierte Features machen die Landschaft gleichmäßiger – Gradient Descent konvergiert direkter und verträgt größere Lernraten.

Für distanzbasierte Verfahren wie KNN oder K-Means ist der Effekt noch unmittelbarer: Die euklidische Distanz summiert quadrierte Differenzen pro Feature. Ein Feature mit Wertebereich in Tausendern übertönt eines im Bereich 0 bis 1 vollständig – die Distanz misst dann faktisch nur noch ein einziges Feature.

Welcher Algorithmus braucht Scaling?

Scaling sauber in eine Pipeline einbauen

Der zuverlässigste Weg, Data Leakage und vergessene Transformationen zu vermeiden, ist eine scikit-learn-Pipeline. Sie garantiert, dass fit nur auf Trainingsdaten passiert – auch innerhalb von Cross-Validation:

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score

pipe = make_pipeline(StandardScaler(), SVC())
scores = cross_val_score(pipe, X, y, cv=5)  # Scaler wird pro Fold neu gefittet

Typische Fehler in der Praxis

• Scaling vor dem Train/Test-Split: Statistiken (min, max, mean, std) enthalten dann Testdaten – ein klassischer Leakage-Fehler, der die Evaluation zu optimistisch macht.
• Zielvariable mitskalieren und vergessen zurückzutransformieren: Bei Regression müssen Vorhersagen mit inverse_transform in den Originalbereich zurück, sonst sind Metriken und Interpretation falsch.
• Scaler nicht mit dem Modell speichern: In Produktion müssen exakt dieselben Statistiken angewendet werden. Am besten Scaler und Modell gemeinsam als Pipeline serialisieren.
• Min-Max bei Ausreißern: Ein einzelner Extremwert staucht alle regulären Werte zusammen. Dann lieber RobustScaler (Median und IQR) verwenden.
• One-Hot-Features mitskalieren: Binäre 0/1-Spalten verlieren ihre Bedeutung; mit ColumnTransformer lassen sich numerische und kategorische Spalten getrennt behandeln.