Sofortantwort
Explainability einfach erklärt
KI-Entscheidungen sollen für Menschen verständlich sein.
- Kurz gesagt
- Macht KI-Entscheidungen für Menschen nachvollziehbar und überprüfbar
- Typischer Einsatz
- Kreditentscheidungen, Medizinische Diagnose, Betrugserkennung
- Wichtig zu wissen
- Methoden: SHAP, LIME, Attention Visualization, Feature Importance
Explainability im Überblick
Explainability (Erklärbarkeit) ist die Fähigkeit eines KI-Systems, seine Entscheidungen und Vorhersagen in für Menschen verständlicher Form zu begründen. Sie ist nicht nur ein technisches Feature, sondern eine ethische und rechtliche Anforderung: Der EU AI Act schreibt für Hochrisiko-KI-Systeme vor, dass Entscheidungen erklärbar sein müssen. Ein Kreditantrag, der von einer KI abgelehnt wird, muss begründet werden können – “das Modell hat es so entschieden” reicht nicht.
Explainability (Erklärbarkeit) bedeutet, dass ein KI-System nicht nur eine Entscheidung trifft, sondern auch erklären kann, warum. Das klingt selbstverständlich, ist aber bei modernen Deep-Learning-Modellen technisch schwierig – sie sind von Natur aus “Black Boxes”.
Explainability ist nicht nur ein technisches Problem, sondern ein rechtliches und ethisches. Der EU AI Act fordert Erklärbarkeit für Hochrisiko-KI-Systeme. Wenn ein Kredit abgelehnt, eine Bewerbung aussortiert oder eine medizinische Diagnose gestellt wird, haben Betroffene das Recht zu verstehen, warum. Methoden wie SHAP und LIME versuchen, diese Black Box nachträglich zu öffnen – sie erklären, welche Features die Entscheidung am stärksten beeinflusst haben.
Interpretierbarkeit vs. Erklärbarkeit:
| Aspekt | Interpretierbare Modelle | Erklärbare Modelle |
|---|---|---|
| Ansatz | Modell ist von Natur aus verständlich | Nachträgliche Erklärung eines komplexen Modells |
| Beispiele | Entscheidungsbäume, lineare Regression | SHAP/LIME für neuronale Netze |
| Genauigkeit | Oft niedriger | Kann hoch sein |
| Vertrauen | Direkt nachvollziehbar | Erklärung ist Approximation |
Technisch betrachtet
Methoden
SHAP (SHapley Additive exPlanations):
- Basiert auf Spieltheorie (Shapley Values)
- Berechnet den Beitrag jedes Features zur Vorhersage
- Konsistent und theoretisch fundiert
LIME (Local Interpretable Model-agnostic Explanations):
- Erstellt ein einfaches Modell, das die Vorhersage lokal approximiert
- Funktioniert mit jedem Modell (model-agnostic)
- Schneller als SHAP, aber weniger konsistent
Attention Visualization:
- Zeigt, auf welche Eingabe-Teile das Modell “achtet”
- Nützlich für Transformer-Modelle
- Vorsicht: Attention ≠ Erklärung (Korrelation, nicht Kausalität)
Regulatorische Anforderungen
- EU AI Act: Transparenzpflichten für Hochrisiko-KI
- DSGVO Art. 22: Recht auf Erklärung bei automatisierten Entscheidungen
- US Equal Credit Opportunity Act: Erklärungspflicht bei Kreditablehnungen
Schritt für Schritt
Erklärungen für den tatsächlichen Entscheidungskontext bauen
Eine gute Erklärung beantwortet die Frage der Person, die mit einer Vorhersage arbeiten oder sie prüfen muss.
Entscheidung und Zielgruppe klären
01
Bestimme, wer die Erklärung nutzt: betroffene Person, Fachexperte, Analystin oder Audit-Team.
Entscheidung | Zielgruppe | benötigte HandlungPassende Erklärungsmethode wählen
02
Nutze intrinsisch verständliche Modelle oder eine nachträgliche, klar begrenzte Erklärungsmethode.
globales Verständnis ↔ lokale Einzelfall-ErklärungErklärung mit Fachwissen prüfen
03
Fachpersonen prüfen, ob wichtige Merkmale plausibel sind und keine Scheingenauigkeit entsteht.
Erklärung → Plausibilitätscheck → dokumentierte GrenzenIn eine Handlung übersetzen
04
Erkläre nicht nur Einflussfaktoren, sondern auch, welche Prüfung oder Korrektur daraus folgt.
Signal → Begründung → nächster SchrittÄnderungen überwachen
05
Bei neuen Daten oder Modellversionen werden Erklärungen erneut validiert.
neue Version → Re-Test → Freigabe
Konkretes Beispiel
Beispiel: Priorisierung von Kreditanträgen
Ein Modell bewertet Anträge, die endgültige Entscheidung bleibt bei geschulten Mitarbeitenden.
Modellausgabe
Ein Antrag erhält eine niedrige Priorität. Eine lokale Erklärung zeigt, welche Eingabemerkmale diese Einschätzung im konkreten Fall beeinflusst haben.
Nutzbare Erklärung
Die Fachperson sieht Einflussfaktoren, Datenqualität und Grenzen der Methode, prüft Auffälligkeiten und dokumentiert die eigene Entscheidung.
Eine Erklärung ist kein Selbstzweck: Sie muss eine sachkundige Prüfung ermöglichen, nicht nur die Ausgabe dekorieren.
Einordnung
Vorteile und Grenzen
Das spricht dafür
- Bessere Prüfung: Fachpersonen können Modellvorschläge gezielter hinterfragen und korrigieren.
- Mehr Vertrauen: Begrenzungen und Einflussfaktoren werden sichtbar statt hinter einer Black Box zu verschwinden.
- Frühere Fehlererkennung: Unplausible Muster können auf Datenprobleme, Bias oder Drift hinweisen.
Das solltest du beachten
- Erklärungen sind Modelle: Methoden wie SHAP oder LIME beschreiben oft Annäherungen, keine Gewissheit.
- Komplexität bleibt: Bei sehr großen Modellen ist eine vollständige kausale Erklärung selten erreichbar.
- Verständlichkeit braucht Design: Technische Diagramme helfen nicht, wenn sie keine Entscheidung unterstützen.
Vertiefung · für FortgeschritteneVon der Vorhersage zur begründeten Prüfung
Explainability verbindet eine Modellentscheidung mit Kontext, Methode und menschlicher Bewertung.
Eine Ausgabe wird erst durch Kontext und Prüfung handlungsfähig.