Grundlagen Daten
Confusion Matrix
Eine Tabelle, die zeigt wie oft ein Klassifikationsmodell richtig und falsch lag – aufgeschlüsselt nach True/False Positives und Negatives.
Einfach erklärt
Precision, Recall und F1-Score sind die drei wichtigsten Metriken für Klassifikationsmodelle – und deutlich aussagekräftiger als einfache Accuracy. Sie sind besonders relevant bei unausgewogenen Datensätzen: Ein Betrugserkennungs-Modell, das immer “kein Betrug” vorhersagt, hat 99% Accuracy, aber 0% Recall für Betrug. Precision misst, wie präzise die positiven Vorhersagen sind. Recall misst, wie viele der tatsächlich positiven Fälle gefunden wurden.
Precision = TP / (TP + FP) → "Wie präzise sind meine Treffer?"
Recall = TP / (TP + FN) → "Wie viele habe ich gefunden?"
F1 = 2 × (P × R) / (P + R) → "Balance aus beiden"Suchmaschinen-Beispiel:
- 10 relevante Dokumente existieren
- Suche liefert 8 Ergebnisse, davon 6 relevant
Precision = 6/8 = 75% (6 von 8 Ergebnissen sind relevant)
Recall = 6/10 = 60% (6 von 10 relevanten wurden gefunden)
F1 = 2 × (0.75 × 0.60) / (0.75 + 0.60) = 66.7%Technischer Deep Dive
Trade-off
Precision und Recall stehen oft im Konflikt:
- Schwellwert hoch → Weniger Vorhersagen, aber präziser (↑ Precision, ↓ Recall)
- Schwellwert niedrig → Mehr Vorhersagen, aber mehr Fehler (↓ Precision, ↑ Recall)
Wann welche Metrik?
| Situation | Wichtigste Metrik |
|---|---|
| Balanced Dataset | F1-Score |
| Imbalanced Dataset | Precision-Recall AUC |
| Kosten für FP hoch | Precision |
| Kosten für FN hoch | Recall |
| Ranking-Aufgaben | Average Precision (AP) |
Precision-Recall-Kurve
Die PR-Kurve zeigt den Trade-off bei verschiedenen Schwellwerten:
- X-Achse: Recall (0 bis 1)
- Y-Achse: Precision (0 bis 1)
- Ideale Kurve: Oben rechts (hohe Precision bei hohem Recall)
- AUC-PR: Fläche unter der Kurve, zusammenfassende Metrik
Code-Beispiel (Python)
from sklearn.metrics import precision_score, recall_score, f1_score
from sklearn.metrics import classification_report
y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0]
y_pred = [1, 0, 1, 0, 0, 1, 1, 0, 1, 0]
print(f"Precision: {precision_score(y_true, y_pred):.2f}")
print(f"Recall: {recall_score(y_true, y_pred):.2f}")
print(f"F1-Score: {f1_score(y_true, y_pred):.2f}")
# Detaillierter Report
print(classification_report(y_true, y_pred))F-Beta Score
F1 gewichtet Precision und Recall gleich. F-Beta erlaubt andere Gewichtungen:
- F0.5: Precision doppelt so wichtig wie Recall
- F2: Recall doppelt so wichtig wie Precision
F_β = (1 + β²) × (Precision × Recall) / (β² × Precision + Recall)