Feature Scaling

Einfach erklärt

Feature Scaling bringt alle Features auf vergleichbare Wertebereiche.

Problem ohne Scaling:

Feature 1: kleiner Wertebereich
Feature 2: großer Wertebereich

→ Das Feature mit großem Wertebereich kann Distanzberechnungen dominieren

Technischer Deep Dive

Methoden

Methode	Formel	Bereich
Min-Max	(x - min) / (max - min)	[0, 1]
Standard	(x - mean) / std	um Mittelwert 0, abhängig von Verteilung
Robust	(x - median) / IQR	Outlier-robust

Sklearn

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# Fit auf Train, Transform auf beide
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)  # Nur transform!

Warum Scaling für Gradient Descent wichtig ist

Bei stark unterschiedlich skalierten Features ist die Loss-Landschaft ein langgezogenes Tal statt einer runden Schüssel: Der Gradient zeigt dann selten direkt zum Minimum, und der Optimierer zickzackt sich langsam voran. Die Lernrate muss sich am empfindlichsten (größten) Feature orientieren und ist für alle anderen zu klein. Skalierte Features machen die Landschaft gleichmäßiger – Gradient Descent konvergiert direkter und verträgt größere Lernraten.

Für distanzbasierte Verfahren wie KNN oder K-Means ist der Effekt noch unmittelbarer: Die euklidische Distanz summiert quadrierte Differenzen pro Feature. Ein Feature mit Wertebereich in Tausendern übertönt eines im Bereich 0 bis 1 vollständig – die Distanz misst dann faktisch nur noch ein einziges Feature.

Welcher Algorithmus braucht Scaling?

Algorithmus	Scaling nötig?	Grund
KNN, K-Means, SVM	Ja	Distanz- bzw. Margin-basiert
Lineare/Logistische Regression mit Regularisierung	Ja	L1/L2 bestraft Koeffizienten skalenabhängig
Neuronale Netze	Ja	Stabileres Gradiententraining
PCA	Ja	Varianzbasiert – große Skalen dominieren Komponenten
Entscheidungsbäume, Random Forest, Gradient Boosting	Meist nein	Splits sind invariant gegenüber monotonen Transformationen
Naive Bayes	Nein	Arbeitet mit Verteilungen pro Feature

Scaling sauber in eine Pipeline einbauen

Der zuverlässigste Weg, Data Leakage und vergessene Transformationen zu vermeiden, ist eine scikit-learn-Pipeline. Sie garantiert, dass fit nur auf Trainingsdaten passiert – auch innerhalb von Cross-Validation:

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score

pipe = make_pipeline(StandardScaler(), SVC())
scores = cross_val_score(pipe, X, y, cv=5)  # Scaler wird pro Fold neu gefittet

Typische Fehler in der Praxis

• Scaling vor dem Train/Test-Split: Statistiken (min, max, mean, std) enthalten dann Testdaten – ein klassischer Leakage-Fehler, der die Evaluation zu optimistisch macht.
• Zielvariable mitskalieren und vergessen zurückzutransformieren: Bei Regression müssen Vorhersagen mit inverse_transform in den Originalbereich zurück, sonst sind Metriken und Interpretation falsch.
• Scaler nicht mit dem Modell speichern: In Produktion müssen exakt dieselben Statistiken angewendet werden. Am besten Scaler und Modell gemeinsam als Pipeline serialisieren.
• Min-Max bei Ausreißern: Ein einzelner Extremwert staucht alle regulären Werte zusammen. Dann lieber RobustScaler (Median und IQR) verwenden.
• One-Hot-Features mitskalieren: Binäre 0/1-Spalten verlieren ihre Bedeutung; mit ColumnTransformer lassen sich numerische und kategorische Spalten getrennt behandeln.