Bias-Variance Tradeoff

Einfach erklärt

Bias und Varianz sind zwei Fehlerquellen, die gegeneinander arbeiten.

Hoher Bias (Underfitting):
├── Modell zu einfach
├── Lernt Muster nicht
└── Fehler auf Training UND Test hoch

Hohe Varianz (Overfitting):
├── Modell zu komplex
├── Lernt Noise auswendig
└── Training gut, Test schlecht

Ziel: Sweet Spot in der Mitte

Visualisierung:

Error
  │
  │  \                    /
  │   \    Varianz      /
  │    \              /
  │     \           /
  │      \_______/  ← Sweet Spot
  │       Bias
  │
  └─────────────────────────
        Modellkomplexität →

Technischer Deep Dive

Fehlerzerlegung

# Total Error = Bias² + Variance + Irreducible Noise

def decompose_error(y_true, predictions_ensemble):
    # predictions_ensemble: Liste von Vorhersagen verschiedener Modelle
    
    mean_pred = np.mean(predictions_ensemble, axis=0)
    
    # Bias²: (E[pred] - true)²
    bias_squared = np.mean((mean_pred - y_true) ** 2)
    
    # Variance: E[(pred - E[pred])²]
    variance = np.mean([np.mean((p - mean_pred) ** 2) 
                        for p in predictions_ensemble])
    
    return bias_squared, variance

Regularisierung als Kontrolle

Methode	Effekt auf Bias	Effekt auf Varianz
Mehr Daten	-	↓
Weniger Features	↑	↓
L2 Regularisierung	↑	↓
Dropout	↑	↓
Ensemble	-	↓