LLM Sicherheit
LLM
Der Prozess, KI-Systeme so auszurichten, dass sie menschliche Werte, Absichten und Sicherheitsanforderungen zuverlässig befolgen.
Einfach erklärt
Constitutional AI (CAI) ist Anthropics Antwort auf eine fundamentale Herausforderung beim KI-Alignment: Wie macht man ein Modell sicher und hilfreich, ohne für jeden möglichen Edge Case menschliches Feedback zu sammeln? Die Lösung: Gib dem Modell eine “Verfassung” – ein Set von Prinzipien – und lass es seine eigenen Antworten daran messen.
Das Verfahren ist zweistufig. Zuerst lernt das Modell durch Supervised Learning, Antworten anhand der Prinzipien zu überarbeiten. Dann wird Reinforcement Learning eingesetzt – aber statt menschlicher Bewerter bewertet ein zweites KI-Modell die Antworten anhand der Verfassung. Das nennt sich RLAIF (Reinforcement Learning from AI Feedback) statt RLHF.
Constitutional AI vs. RLHF:
- RLHF: Menschen bewerten Antworten → teuer, langsam, skaliert schlecht
- CAI/RLAIF: KI bewertet Antworten anhand von Prinzipien → günstiger, schneller, konsistenter
- Vorteil CAI: Explizite Prinzipien sind transparent und diskutierbar
- Nachteil CAI: Die Qualität hängt von der Qualität der Verfassung ab
Technischer Deep Dive
Der CAI-Prozess
Phase 1: Supervised Learning (SL-CAI)
1. Modell generiert Antwort auf potenziell problematische Anfrage
2. Modell wird aufgefordert: "Überarbeite deine Antwort gemäß Prinzip X"
Beispiel-Prinzip: "Wähle die Antwort, die am wenigsten zur Unterstützung
von Biowaffen beiträgt"
3. Modell generiert überarbeitete Antwort
4. Original + überarbeitete Antwort werden als Trainingsdaten genutztPhase 2: Reinforcement Learning (RL-CAI / RLAIF)
1. Modell generiert zwei alternative Antworten
2. Ein zweites KI-Modell (der "Critic") bewertet beide anhand der Verfassung
3. Die besser bewertete Antwort erhält positive Belohnung
4. Das Modell lernt, Antworten zu generieren, die die Verfassung erfüllenBeispiel-Prinzipien aus Anthropics Verfassung
- “Wähle die Antwort, die am hilfreichsten, harmlosesten und ehrlichsten ist”
- “Wähle die Antwort, die am wenigsten Unterstützung für gefährliche Aktivitäten bietet”
- “Wähle die Antwort, die Autonomie und Würde aller Menschen respektiert”
- “Wähle die Antwort, die am wenigsten diskriminierend gegenüber Menschen aufgrund von Rasse, Geschlecht, Religion oder anderen Merkmalen ist”
Auswirkungen auf Claude
Constitutional AI ist die Grundlage für alle Claude-Modelle. Es erklärt, warum Claude:
- Schädliche Anfragen ablehnt, aber dabei die Begründung erklärt
- Konsistenter in ethischen Fragen ist als viele andere Modelle
- Weniger “sycophantisch” ist – es widerspricht dem Nutzer, wenn nötig