RLHF (Reinforcement Learning from Human Feedback)

Einfach erklärt

RLHF (Reinforcement Learning from Human Feedback) ist die Trainingsmethode, die aus einem rohen Sprachmodell einen hilfreichen, harmlosen und ehrlichen Assistenten macht. Sie ist der Grund, warum ChatGPT, Claude und Gemini so anders wirken als reine Basismodelle. Ein Basismodell lernt nur, Text fortzusetzen – RLHF lehrt es, was “gute” Antworten sind, indem menschliche Bewerter Antwortpaare vergleichen und das Modell auf diese Präferenzen trainiert wird.

RLHF ist die Methode, die aus einem rohen Sprachmodell einen hilfreichen Assistenten macht. Ohne RLHF würde GPT-5 wirre Textfortsetzungen generieren statt nützliche Antworten.

Warum reicht normales Training nicht?

Ein Basismodell lernt nur, Text vorherzusagen – nicht, GUTEN Text zu generieren. RLHF lehrt das Modell, was Menschen als hilfreich, harmlos und ehrlich empfinden.

Die drei Schritte:

1. Supervised Fine-Tuning (SFT): Modell lernt aus menschlich geschriebenen Beispiel-Antworten
2. Reward Model Training: Ein zweites Modell lernt, gute von schlechten Antworten zu unterscheiden
3. PPO-Optimierung: Das LLM wird mit dem Reward Model optimiert

Alternativen: DPO (Direct Preference Optimization) ist einfacher und günstiger. Constitutional AI (Claude) nutzt KI-Feedback statt menschlichem.

Technischer Deep Dive

Schritt 1: Supervised Fine-Tuning

Menschliche Annotatoren schreiben hochwertige Antworten auf Prompts. Das Basismodell wird auf diesen Daten fine-getuned. Ergebnis: Ein Modell, das Anweisungen folgen kann, aber noch nicht optimal ist.

Schritt 2: Reward Model

Annotatoren bewerten Paare von Antworten (A ist besser als B). Aus diesen Präferenzen wird ein Reward Model trainiert, das jeder Antwort einen Score gibt.

Schritt 3: PPO-Training

Das LLM wird mit Proximal Policy Optimization trainiert:

• LLM generiert Antworten
• Reward Model bewertet sie
• PPO passt das LLM an, um höhere Rewards zu erzielen
• KL-Divergenz-Penalty verhindert, dass das Modell zu weit vom Basismodell abweicht

Alternativen

Methode	Reward Model	Komplexität	Stabilität
RLHF (PPO)	Ja	Hoch	Mittel
DPO	Nein	Niedrig	Hoch
ORPO	Nein	Niedrig	Hoch
KTO	Nein	Niedrig	Hoch

DPO: Die einfachere Alternative

Direct Preference Optimization (DPO) ist mittlerweile oft die bevorzugte Methode:

# DPO braucht nur Preference-Paare, kein Reward Model
training_data = [
    {"prompt": "Erkläre Quantenphysik", 
     "chosen": "Quantenphysik beschreibt...",  # Bessere Antwort
     "rejected": "Quantenphysik ist kompliziert..."  # Schlechtere Antwort
    },
    # ... mehr Paare
]

# Training mit TRL
from trl import DPOTrainer

trainer = DPOTrainer(
    model=model,
    ref_model=ref_model,
    train_dataset=dataset,
    beta=0.1,  # KL-Penalty
)
trainer.train()

Kosten und Aufwand

Aspekt	RLHF (PPO)	DPO
Menschliche Annotationen	50k-100k+ Vergleiche	10k-50k Vergleiche
Reward Model Training	Erforderlich	Nicht nötig
Training-Stabilität	Schwierig zu tunen	Stabiler
GPU-Kosten	Hoch (3 Modelle im Speicher)	Niedriger (2 Modelle)
Qualität	Sehr gut	Vergleichbar

Typischer RLHF-Workflow

1. Basis-Modell vortrainieren (Milliarden $)
2. SFT-Daten sammeln: ~10k hochwertige Beispiele
3. Preference-Daten sammeln: ~50k A/B-Vergleiche
4. Reward Model trainieren auf Preferences
5. PPO-Training mit Reward Model als Feedback
6. Evaluation mit menschlichen Testern
7. Iteration basierend auf Feedback