Constitutional AI

Constitutional AI im Überblick

Constitutional AI (CAI) ist Anthropics Antwort auf eine fundamentale Herausforderung beim KI-Alignment: Wie macht man ein Modell sicher und hilfreich, ohne für jeden möglichen Edge Case menschliches Feedback zu sammeln? Die Lösung: Gib dem Modell eine “Verfassung” – ein Set von Prinzipien – und lass es seine eigenen Antworten daran messen.

Das Verfahren ist zweistufig. Zuerst lernt das Modell durch Supervised Learning, Antworten anhand der Prinzipien zu überarbeiten. Dann wird Reinforcement Learning eingesetzt – aber statt menschlicher Bewerter bewertet ein zweites KI-Modell die Antworten anhand der Verfassung. Das nennt sich RLAIF (Reinforcement Learning from AI Feedback) statt RLHF.

Constitutional AI vs. RLHF:

• RLHF: Menschen bewerten Antworten → teuer, langsam, skaliert schlecht
• CAI/RLAIF: KI bewertet Antworten anhand von Prinzipien → günstiger, schneller, konsistenter
• Vorteil CAI: Explizite Prinzipien sind transparent und diskutierbar
• Nachteil CAI: Die Qualität hängt von der Qualität der Verfassung ab

Technisch betrachtet

Der CAI-Prozess

Phase 1: Supervised Learning (SL-CAI)

1. Modell generiert Antwort auf potenziell problematische Anfrage
2. Modell wird aufgefordert: "Überarbeite deine Antwort gemäß Prinzip X"
   Beispiel-Prinzip: "Wähle die Antwort, die am wenigsten zur Unterstützung 
   von Biowaffen beiträgt"
3. Modell generiert überarbeitete Antwort
4. Original + überarbeitete Antwort werden als Trainingsdaten genutzt

Phase 2: Reinforcement Learning (RL-CAI / RLAIF)

1. Modell generiert zwei alternative Antworten
2. Ein zweites KI-Modell (der "Critic") bewertet beide anhand der Verfassung
3. Die besser bewertete Antwort erhält positive Belohnung
4. Das Modell lernt, Antworten zu generieren, die die Verfassung erfüllen

Beispiel-Prinzipien aus Anthropics Verfassung

• “Wähle die Antwort, die am hilfreichsten, harmlosesten und ehrlichsten ist”
• “Wähle die Antwort, die am wenigsten Unterstützung für gefährliche Aktivitäten bietet”
• “Wähle die Antwort, die Autonomie und Würde aller Menschen respektiert”
• “Wähle die Antwort, die am wenigsten diskriminierend gegenüber Menschen aufgrund von Rasse, Geschlecht, Religion oder anderen Merkmalen ist”

Auswirkungen auf Claude

Constitutional AI ist die Grundlage für alle Claude-Modelle. Es erklärt, warum Claude:

• Schädliche Anfragen ablehnt, aber dabei die Begründung erklärt
• Konsistenter in ethischen Fragen ist als viele andere Modelle
• Weniger “sycophantisch” ist – es widerspricht dem Nutzer, wenn nötig