LLM Evaluation

Einfach erklärt

„Das Modell antwortet gut” ist keine ausreichende Qualitätssicherung. LLM Evaluation (kurz: Evals) ist die systematische Antwort auf die Frage: Wie gut ist gut genug, und wie messen wir das?

Evals definieren konkrete Testfälle mit erwarteten Ausgaben oder Bewertungskriterien. Automatisierte Pipelines führen diese Tests nach jeder Änderung aus – genau wie Unit Tests in der Softwareentwicklung.

Evaluationsarten:

Art	Methode	Skalierbarkeit	Genauigkeit
Menschlich	Annotator bewertet	Niedrig	Hoch
Regelbasiert	Exakter Match, Regex	Hoch	Begrenzt
Modellbasiert	LLM-as-Judge	Hoch	Mittel-Hoch
Hybrid	LLM + menschliche Stichproben	Mittel	Hoch

Technischer Deep Dive

RAGAS – RAG-Evaluation

from ragas import evaluate
from ragas.metrics import (
    faithfulness,
    answer_relevancy,
    context_precision,
    context_recall,
)
from datasets import Dataset

# Testdaten
data = {
    "question": ["Was ist RAG?", "Wie funktioniert Chunking?"],
    "answer": ["RAG steht für...", "Chunking teilt..."],
    "contexts": [["Kontext 1..."], ["Kontext 2..."]],
    "ground_truth": ["RAG ist...", "Chunking ist..."],
}

dataset = Dataset.from_dict(data)
result = evaluate(
    dataset,
    metrics=[faithfulness, answer_relevancy, context_precision, context_recall],
)
print(result)
# {'faithfulness': 0.92, 'answer_relevancy': 0.87, ...}

Promptfoo – Prompt-Testing

# promptfooconfig.yaml
prompts:
  - "Beantworte folgende Frage präzise: {{question}}"
  - "Du bist ein Experte. Frage: {{question}}"

providers:
  - openai:gpt-4o-mini
  - anthropic:claude-3-haiku-20240307

tests:
  - vars:
      question: "Was ist die Hauptstadt von Frankreich?"
    assert:
      - type: contains
        value: "Paris"
      - type: llm-rubric
        value: "Die Antwort ist korrekt und präzise"

  - vars:
      question: "Erkläre Quantencomputing"
    assert:
      - type: llm-rubric
        value: "Die Erklärung ist verständlich und korrekt"
      - type: not-contains
        value: "Ich weiß es nicht"

Eval-Metriken im Überblick

# Wichtige Metriken für verschiedene Use Cases

# 1. Faktische Korrektheit
def check_factual_accuracy(answer: str, ground_truth: str) -> float:
    # LLM bewertet ob Antwort mit Ground Truth übereinstimmt
    ...

# 2. Halluzinations-Erkennung (Faithfulness)
def check_faithfulness(answer: str, context: str) -> float:
    # Ist jede Aussage in der Antwort durch den Kontext belegt?
    ...

# 3. Antwort-Vollständigkeit
def check_completeness(answer: str, question: str) -> float:
    # Beantwortet die Antwort alle Aspekte der Frage?
    ...