Sofortantwort
Halluzinationen einfach erklärt
Plausibel klingende KI-Aussagen, die falsch oder unbelegt sind.
- Kurz gesagt
- LLMs generieren manchmal falsche Fakten, erfundene Quellen oder inkorrekte Zusammenhänge
- Typischer Einsatz
- Faktenprüfung, Medizinische KI, Rechtsberatung
- Wichtig zu wissen
- Prüfe Quelle, Beleg und Aktualität getrennt und teste den Umgang mit fehlender Evidenz
Halluzinationen im Überblick
Ein Sprachmodell kann Zahlen, Zitate oder Zusammenhänge ausgeben, die falsch sind oder sich aus den verfügbaren Quellen nicht ableiten lassen. Ob ein Satz überzeugend klingt, sagt wenig über seinen Wahrheitsgehalt. Sprachmodelle erzeugen Text anhand gelernter Muster und der aktuellen Eingabe. Eine verlässliche Faktenprüfung braucht einen eigenen Prüfschritt.
Quellenbindung und faktische Korrektheit
| Prüfziel | Beispiel aus einem fiktiven Richtlinienassistenten |
|---|---|
| Quellenbindung (Faithfulness) | Die abgerufene Passage nennt 30 Tage, die Antwort behauptet 60 Tage. Die Passage stützt die Antwort nicht. |
| Faktische Korrektheit | Die Antwort übernimmt korrekt die 30 Tage aus einer alten Richtlinie. Die aktuell gültige Fassung nennt 14 Tage. |
| Belegbarkeit | Die Antwort nennt zusätzlich eine Ausnahme, die in keiner verfügbaren Passage steht. Ob sie zutrifft, bleibt offen. |
Ein Quellenverweis hilft beim Nachprüfen. Prüfe, ob die Quelle existiert, zur Frage passt, aktuell ist und genau die zitierte Behauptung stützt.
Wo du bei RAG ansetzt
- Passage fehlt: Prüfe Indexierung, Suche und Zugriffsfilter. Für den Test kannst du die richtige Passage gezielt mitgeben und beobachten, ob sich die Antwort verbessert.
- Passage ist da, die Antwort weicht ab: Prüfe einzelne Aussagen gegen die Fundstelle. Teste, ob die Anwendung mit klaren Belegregeln oder einem überprüfbaren Ausgabeformat weniger unbelegte Aussagen liefert.
- Passage ist veraltet oder widersprüchlich: Prüfe Dokumentversion und Gültigkeit. Wenn die Quellenlage offen bleibt, soll die Anwendung die Unsicherheit nennen oder an eine zuständige Person verweisen.
Eine niedrigere Sampling-Temperatur verändert die Wortwahl und ersetzt keine Prüfung der Aussagen. Teste mit belegbaren, unbeantwortbaren und widersprüchlichen Fragen. Erfasse getrennt, wann eine Antwort unbelegt ist und wann sich das System trotz vorhandenem Beleg unnötig enthält.
Automatische Prüfungen einsetzen
Regeltests können prüfen, ob Quellen-IDs im abgerufenen Kontext vorkommen. Faithfulness-Metriken wie die in Ragas prüfen zusätzlich, ob sich Aussagen aus dem Kontext ableiten lassen. Vergleiche automatische Urteile mit fachlich bewerteten Beispielen und prüfe folgenreiche Fälle manuell. Im Glossar zu LLM Evaluation findest du einen einfachen Test für Quellen-IDs und fehlende Belege.
