Grundlagen
Overfitting / Underfitting
Zwei fundamentale Probleme beim Machine Learning: Overfitting bedeutet, das Modell lernt Trainingsdaten auswendig; Underfitting bedeutet, es lernt zu wenig.
Einfach erklärt
Kreuzvalidierung (englisch Cross-Validation) ist ein Verfahren, um abzuschätzen, wie gut ein Machine-Learning-Modell auf neuen, ungesehenen Daten funktionieren wird. Das Problem: Wer ein Modell nur an einem einzigen Test-Datensatz misst, riskiert ein zufälliges Ergebnis – die Aufteilung könnte zufällig besonders leicht oder besonders schwer ausgefallen sein.
Kreuzvalidierung löst das, indem sie die Daten mehrfach unterschiedlich aufteilt, das Modell mehrmals trainiert und testet, und die Ergebnisse mittelt. Das Resultat ist eine deutlich verlässlichere Einschätzung der echten Leistung.
Technischer Deep Dive
k-fache Kreuzvalidierung
Das gängigste Verfahren teilt die Daten in k Folds:
- Daten in k gleich große Teile zerlegen.
- Modell k-mal trainieren – jeweils ein Fold als Validierung, der Rest als Training.
- Die k Leistungswerte mitteln (und ggf. die Streuung betrachten).
Bei k=5 wird das Modell also fünfmal trainiert, jeder Datenpunkt ist genau einmal Validierung und viermal Training.
Varianten
| Variante | Einsatz |
|---|---|
| Stratified k-Fold | unausgewogene Klassen – Verteilung pro Fold erhalten |
| Leave-One-Out | sehr kleine Datensätze – k = Anzahl Datenpunkte |
| Time Series Split | Zeitreihen – nur Vergangenheit darf Zukunft vorhersagen |
Wichtige Regel
Die Kreuzvalidierung dient dem Modell- und Hyperparameter-Vergleich. Der finale, unberührte Testdatensatz wird erst ganz am Ende verwendet – sonst fließt Wissen über die Testdaten ins Modell ein und die Schätzung wird zu optimistisch.