Confusion Matrix

Confusion Matrix im Überblick

                    Vorhersage
                  Positiv  Negativ
Tatsächlich  Pos │  TP    │  FN   │
             Neg │  FP    │  TN   │

TP = Richtig erkannt    FP = Fehlalarm
FN = Übersehen          TN = Richtig abgelehnt

Spam-Filter Beispiel:

• TP (True Positive): Spam korrekt als Spam erkannt ✅
• FP (False Positive): Normale Mail als Spam markiert ❌
• FN (False Negative): Spam nicht erkannt, im Posteingang ❌
• TN (True Negative): Normale Mail korrekt durchgelassen ✅

Technisch betrachtet

Abgeleitete Metriken

• Accuracy: (TP + TN) / Gesamt – Gesamtgenauigkeit
• Precision: TP / (TP + FP) – Wie viele Positive sind wirklich positiv?
• Recall: TP / (TP + FN) – Wie viele echte Positive wurden gefunden?
• F1-Score: Harmonisches Mittel von Precision und Recall

Multi-Class Confusion Matrix

Bei mehr als 2 Klassen wird die Matrix größer (N×N). Man sieht genau welche Klassen verwechselt werden – z.B. ob ein Modell Hunde und Wölfe verwechselt.

Normalisierung

Confusion Matrices können normalisiert werden:

• Zeilen-Normalisierung: Jede Zeile summiert zu 1 → zeigt Recall pro Klasse
• Spalten-Normalisierung: Jede Spalte summiert zu 1 → zeigt Precision pro Klasse
• Gesamt-Normalisierung: Alle Zellen summieren zu 1 → zeigt Verteilung

Typische Fehleranalyse

Hohe False Positives (FP)?

• Modell ist zu “optimistisch” / sensitiv
• Schwellwert erhöhen oder mehr negative Beispiele trainieren

Hohe False Negatives (FN)?

• Modell übersieht zu viele positive Fälle
• Schwellwert senken oder Klasse besser repräsentieren

Asymmetrische Fehler?

• Klassenungleichgewicht in den Trainingsdaten
• Resampling oder Class Weights verwenden

Code-Beispiel (Python)

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
import matplotlib.pyplot as plt

y_true = [0, 1, 1, 0, 1, 0, 1, 1]
y_pred = [0, 1, 0, 0, 1, 1, 1, 1]

cm = confusion_matrix(y_true, y_pred)
disp = ConfusionMatrixDisplay(cm, display_labels=['Negativ', 'Positiv'])
disp.plot(cmap='Blues')
plt.show()