Bias-Variance Tradeoff

Einfach erklärt

Bias und Varianz sind zwei Fehlerquellen, die gegeneinander arbeiten.

Hoher Bias (Underfitting):
├── Modell oft zu einfach
├── Erfasst relevante Muster nicht ausreichend
└── Training und Validierung bleiben schwach

Hohe Varianz (Overfitting):
├── Modell oft zu flexibel
├── Reagiert stark auf Trainingsdetails oder Noise
└── Training deutlich besser als Validierung

Ziel: Sweet Spot in der Mitte

Visualisierung:

Error
  │
  │  \                    /
  │   \    Varianz      /
  │    \              /
  │     \           /
  │      \_______/  ← Sweet Spot
  │       Bias
  │
  └─────────────────────────
        Modellkomplexität →

Technischer Deep Dive

Fehlerzerlegung

# Total Error = Bias² + Variance + Irreducible Noise

def decompose_error(y_true, predictions_ensemble):
    # predictions_ensemble: Liste von Vorhersagen verschiedener Modelle
    
    mean_pred = np.mean(predictions_ensemble, axis=0)
    
    # Bias²: (E[pred] - true)²
    bias_squared = np.mean((mean_pred - y_true) ** 2)
    
    # Variance: E[(pred - E[pred])²]
    variance = np.mean([np.mean((p - mean_pred) ** 2) 
                        for p in predictions_ensemble])
    
    return bias_squared, variance

Regularisierung als Kontrolle

Methode	Typischer Effekt auf Bias	Typischer Effekt auf Varianz
Mehr Daten	oft gering	meist ↓
Weniger Features	kann ↑	oft ↓
L2 Regularisierung	kann ↑	oft ↓
Dropout	kann ↑	oft ↓
Ensemble	oft gering	oft ↓