Daten Grundlagen
Feature Scaling
Die Transformation von Features auf vergleichbare Wertebereiche – wichtig für viele ML-Algorithmen, besonders bei Distanzmaßen, Gradientenverfahren und Regularisierung.
Einfach erklärt
Datenvorverarbeitung (englisch Preprocessing) umfasst alle Schritte, mit denen Rohdaten so aufbereitet werden, dass ein Machine-Learning-Modell gut damit arbeiten kann. Echte Daten sind selten sauber: Sie enthalten Lücken, Fehler, unterschiedliche Maßeinheiten und Kategorien in Textform. Bevor ein Modell daraus lernen kann, müssen diese Probleme behoben werden.
In der Praxis ist die Vorverarbeitung oft der zeitaufwendigste Teil eines Projekts – und derjenige, der am stärksten über Erfolg oder Misserfolg entscheidet. Das beste Modell nützt nichts, wenn es mit schlechten Daten gefüttert wird.
Technischer Deep Dive
Typische Schritte
| Schritt | Zweck |
|---|---|
| Bereinigung | Tippfehler, Duplikate, fehlerhafte Einträge entfernen |
| Fehlende Werte | auffüllen (Imputation) oder entfernen |
| Skalierung | Werte in vergleichbare Bereiche bringen |
| Kodierung | Kategorien in Zahlen umwandeln (One-Hot, Label-Encoding) |
| Ausreißer | extreme Werte erkennen und behandeln |
Skalierung und Normalisierung
Viele Algorithmen reagieren empfindlich auf die Größenordnung der Merkmale. Wenn ein Merkmal in Tausendern und ein anderes zwischen 0 und 1 liegt, dominiert das größere unverhältnismäßig. Feature Scaling und Normalisierung gleichen das aus.
Vorsicht vor Data Leakage
Eine zentrale Regel: Die Parameter der Vorverarbeitung (z. B. Mittelwerte zum Skalieren) werden nur aus den Trainingsdaten gelernt und dann auf Validierungs- und Testdaten angewendet. Wird der gesamte Datensatz gemeinsam vorverarbeitet, sickert Wissen über die Testdaten ins Training – die Bewertung wird trügerisch gut.