Precision, Recall & F1-Score

Precision, Recall & F1-Score im Überblick

Precision, Recall und F1-Score sind die drei wichtigsten Metriken für Klassifikationsmodelle – und deutlich aussagekräftiger als einfache Accuracy. Sie sind besonders relevant bei unausgewogenen Datensätzen: Ein Betrugserkennungs-Modell, das immer “kein Betrug” vorhersagt, hat 99% Accuracy, aber 0% Recall für Betrug. Precision misst, wie präzise die positiven Vorhersagen sind. Recall misst, wie viele der tatsächlich positiven Fälle gefunden wurden.

Precision = TP / (TP + FP)  → "Wie präzise sind meine Treffer?"
Recall    = TP / (TP + FN)  → "Wie viele habe ich gefunden?"
F1        = 2 × (P × R) / (P + R)  → "Balance aus beiden"

Suchmaschinen-Beispiel:

• 10 relevante Dokumente existieren
• Suche liefert 8 Ergebnisse, davon 6 relevant

Precision = 6/8 = 75%  (6 von 8 Ergebnissen sind relevant)
Recall    = 6/10 = 60% (6 von 10 relevanten wurden gefunden)
F1        = 2 × (0.75 × 0.60) / (0.75 + 0.60) = 66.7%

Technisch betrachtet

Trade-off

Precision und Recall stehen oft im Konflikt:

• Schwellwert hoch → Weniger Vorhersagen, aber präziser (↑ Precision, ↓ Recall)
• Schwellwert niedrig → Mehr Vorhersagen, aber mehr Fehler (↓ Precision, ↑ Recall)

Wann welche Metrik?

Precision-Recall-Kurve

Die PR-Kurve zeigt den Trade-off bei verschiedenen Schwellwerten:

• X-Achse: Recall (0 bis 1)
• Y-Achse: Precision (0 bis 1)
• Ideale Kurve: Oben rechts (hohe Precision bei hohem Recall)
• AUC-PR: Fläche unter der Kurve, zusammenfassende Metrik

Code-Beispiel (Python)

from sklearn.metrics import precision_score, recall_score, f1_score
from sklearn.metrics import classification_report

y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0]
y_pred = [1, 0, 1, 0, 0, 1, 1, 0, 1, 0]

print(f"Precision: {precision_score(y_true, y_pred):.2f}")
print(f"Recall: {recall_score(y_true, y_pred):.2f}")
print(f"F1-Score: {f1_score(y_true, y_pred):.2f}")

# Detaillierter Report
print(classification_report(y_true, y_pred))

F-Beta Score

F1 gewichtet Precision und Recall gleich. F-Beta erlaubt andere Gewichtungen:

• F0.5: Precision doppelt so wichtig wie Recall
• F2: Recall doppelt so wichtig wie Precision

F_β = (1 + β²) × (Precision × Recall) / (β² × Precision + Recall)