BLEU / ROUGE

Einfach erklärt

BLEU und ROUGE sind automatische Metriken, um die Qualität von KI-generierten Texten zu messen – ohne menschliche Bewertung. BLEU (Bilingual Evaluation Understudy) wurde ursprünglich für maschinelle Übersetzung entwickelt und misst, wie viele N-Gramme der generierten Ausgabe mit einer Referenzübersetzung übereinstimmen. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ist ähnlich, aber recall-orientiert und wird häufig für Textzusammenfassungen verwendet. Beide Metriken haben bekannte Schwächen: Sie messen Wortüberlappung, nicht semantische Qualität.

BLEU und ROUGE sind automatische Metriken, die messen, wie gut ein generierter Text mit einer Referenz übereinstimmt. Sie zählen überlappende Wörter – einfach, aber effektiv.

Der Unterschied:

• BLEU fragt: “Wie viele Wörter im generierten Text sind auch in der Referenz?” (Precision)
• ROUGE fragt: “Wie viele Wörter der Referenz wurden abgedeckt?” (Recall)

Beispiel:

Referenz:   "Die Katze sitzt auf der Matte"
Generiert:  "Die Katze liegt auf der Matte"

BLEU:  5/6 Wörter stimmen überein = 83% Precision
ROUGE: 5/6 Referenz-Wörter abgedeckt = 83% Recall

Wann welche Metrik?

Aufgabe	Metrik	Grund
Übersetzung	BLEU	Präzision wichtiger
Zusammenfassung	ROUGE	Vollständigkeit wichtiger
Chatbots	Keins von beiden	Menschliche Bewertung besser

Wichtig: Beide Metriken messen nur Wortüberlappung, nicht Bedeutung. “Der Hund jagt die Katze” und “Die Katze jagt den Hund” hätten hohe Scores – obwohl sie Gegenteiliges bedeuten.

Technischer Deep Dive

BLEU (Bilingual Evaluation Understudy)

• Misst N-Gram Precision (1-gram bis 4-gram)
• Brevity Penalty: Bestraft zu kurze Übersetzungen
• Skala: 0-100 (>40 = gut, >60 = sehr gut)

ROUGE (Recall-Oriented Understudy for Gisting Evaluation)

• ROUGE-1: Unigram Recall
• ROUGE-2: Bigram Recall
• ROUGE-L: Longest Common Subsequence

Moderne Alternativen

• BERTScore: Semantische Ähnlichkeit statt Wortüberlappung
• LLM-as-Judge: GPT-5 bewertet die Qualität (MT-Bench, AlpacaEval)
• Human Evaluation: Immer noch der Goldstandard

Praxisbeispiele

Anwendung von BLEU

In der maschinellen Übersetzung wird BLEU häufig verwendet, um die Qualität von Übersetzungen zu bewerten. Ein Beispiel könnte die Übersetzung eines Satzes aus dem Englischen ins Deutsche sein:

• Referenz: “The cat sits on the mat.”
• Generiert: “Die Katze sitzt auf der Matte.”

Hier könnte BLEU eine hohe Punktzahl erzielen, da viele Wörter übereinstimmen.

Anwendung von ROUGE

ROUGE wird oft in der Textzusammenfassung eingesetzt. Angenommen, wir haben einen Artikel über Umweltschutz und möchten eine Zusammenfassung erstellen:

• Referenz-Zusammenfassung: “Umweltschutz ist wichtig für die Zukunft.”
• Generierte Zusammenfassung: “Schutz der Umwelt ist entscheidend für die Zukunft.”

Hier könnte ROUGE die Anzahl der übereinstimmenden Wörter und Phrasen zählen, um die Qualität der Zusammenfassung zu bewerten.

Vor- und Nachteile

Vorteile

• Automatisierung: Beide Metriken ermöglichen eine schnelle und automatisierte Bewertung von Texten.
• Vergleichbarkeit: Sie bieten eine standardisierte Methode zur Bewertung von Übersetzungen und Zusammenfassungen, die leicht zwischen verschiedenen Modellen verglichen werden kann.
• Einfachheit: Die Berechnung ist relativ einfach und erfordert keine tiefen linguistischen Kenntnisse.

Nachteile

• Oberflächliche Bewertung: Beide Metriken berücksichtigen nicht die semantische Bedeutung des Textes; sie messen nur die Wortübereinstimmung.
• Brevity Penalty: Insbesondere bei BLEU kann die Bestrafung für kurze Übersetzungen zu ungerechten Bewertungen führen.
• Kontextverlust: Die Metriken ignorieren den Kontext und die Kohärenz des Textes, was zu irreführenden Ergebnissen führen kann.

Historischer Kontext

BLEU wurde 2002 von Papineni et al. eingeführt und hat sich schnell als Standard zur Bewertung maschineller Übersetzungen etabliert. ROUGE wurde 2004 von Lin entwickelt und fand Anwendung in der automatischen Textzusammenfassung. Beide Metriken haben die Forschung im Bereich der natürlichen Sprachverarbeitung maßgeblich beeinflusst und sind nach wie vor weit verbreitet, obwohl moderne Ansätze wie BERTScore und LLM-basierte Bewertungen zunehmend an Bedeutung gewinnen.