Trust Calibration

Einfach erklärt

Trust Calibration sorgt dafür, dass Nutzer der KI genau so viel vertrauen, wie sie verdient.

Übervertrauen:
KI-Accuracy: 80%
Nutzer-Vertrauen: 99%
→ Fehler werden übersehen!

Untervertrauen:
KI-Accuracy: 95%
Nutzer-Vertrauen: 50%
→ KI wird ignoriert, Effizienz verloren

Kalibriert:
KI-Accuracy: 90%
Nutzer-Vertrauen: 90%
→ Angemessene Nutzung

Technischer Deep Dive

Kalibrierungstechniken

Technik	Beschreibung
Confidence Scores	Zeige Unsicherheit der KI
Erklärungen	Warum diese Entscheidung?
Feedback	Zeige historische Accuracy
Training	Nutzer über Grenzen aufklären

Confidence anzeigen

def display_prediction(prediction, confidence):
    if confidence > 0.9:
        return f"✓ {prediction} (sehr sicher)"
    elif confidence > 0.7:
        return f"? {prediction} (prüfen empfohlen)"
    else:
        return f"⚠ {prediction} (unsicher, bitte prüfen)"

Trust Calibration in KI-Produkten

Viele bekannte KI-Produkte kalibrieren Vertrauen über kleine, aber wirksame UI-Signale:

Produkt-Kontext	Kalibrierendes Signal
Chatbots (ChatGPT, Claude)	Hinweise wie „KI kann Fehler machen” direkt unter dem Eingabefeld
Coding-Assistenten (Copilot)	Vorschläge erscheinen als Entwurf, den Entwickler aktiv annehmen müssen
Suchassistenten	Quellenangaben und Zitate laden zum Gegenprüfen ein
Übersetzungstools	Alternative Übersetzungen zeigen, dass es nicht die eine richtige Antwort gibt
Autonome Agenten	Arbeitsprotokolle machen sichtbar, welche Schritte die KI tatsächlich ausgeführt hat

Gemeinsam ist diesen Patterns: Sie geben Nutzern Anhaltspunkte, wann sie genauer hinschauen sollten – statt pauschal zu warnen oder pauschal Vertrauen einzufordern.

Do & Don’t

Do	Don’t
Unsicherheit dort anzeigen, wo die Entscheidung fällt	Generischer Disclaimer im Kleingedruckten
Fehler des Systems offen kommunizieren und korrigierbar machen	Fehler stillschweigend überschreiben
Vertrauen schrittweise aufbauen (erst assistieren, dann automatisieren)	Neue Nutzer sofort mit Vollautomatisierung konfrontieren
Confidence in verständliche Stufen übersetzen	Rohe Wahrscheinlichkeiten ohne Kontext anzeigen
Grenzen des Systems benennen („dafür bin ich nicht geeignet”)	Jede Anfrage beantworten, egal wie unpassend

Abgrenzung zu verwandten Begriffen

• Trust Calibration vs. Explainability: Explainability liefert die Inhalte (warum entschied die KI so?), Trust Calibration ist das Ziel (angemessenes Vertrauen). Erklärungen sind ein Mittel zur Kalibrierung – aber nicht das einzige.
• Trust Calibration vs. Transparenz: Transparenz bedeutet, Informationen offenzulegen. Kalibrierung bedeutet, dass diese Informationen das Nutzerverhalten tatsächlich richtig steuern. Ein überladenes Transparenz-Dashboard kann Vertrauen sogar dekalibrieren.
• Trust Calibration vs. Akzeptanz: Akzeptanzforschung fragt, ob Nutzer ein System überhaupt verwenden. Kalibrierung fragt, ob sie es richtig dosiert verwenden.

Messbarkeit

Ob Vertrauen kalibriert ist, zeigt sich im Verhalten, nicht in Umfragen allein:

• Override-Rate: Wie oft korrigieren Nutzer die KI? Nahe null bei fehleranfälligen Systemen deutet auf Übervertrauen hin.
• Verifikationsverhalten: Prüfen Nutzer Ergebnisse bei niedriger Confidence häufiger nach als bei hoher? Wenn nicht, wirken die Signale nicht.
• Ablehnungsquote korrekter Vorschläge: Werden gute KI-Ergebnisse regelmäßig verworfen, liegt Untervertrauen vor.
• Reliance-Vergleich: Der Abgleich zwischen tatsächlicher Trefferquote der KI und der Quote, mit der Nutzer ihr folgen, macht Fehlkalibrierung direkt sichtbar.

Wichtig: Kalibrierung ist kein einmaliger Zustand. Nach Modell-Updates, neuen Features oder längerer fehlerfreier Nutzung verschiebt sich das Vertrauen – und muss neu justiert werden.