Die Kernfrage
Ein vortrainiertes LLM kann Sprache – aber es weiß noch nicht, welche Antworten Menschen bevorzugen: hilfreich, ehrlich, im richtigen Ton. Dieses Alignment auf menschliche Präferenzen leisten zwei konkurrierende Methoden:
- RLHF (Reinforcement Learning from Human Feedback): Erst ein Reward Model auf menschlichen Bewertungen trainieren, dann das LLM per Reinforcement Learning gegen dieses Reward Model optimieren
- DPO (Direct Preference Optimization): Das LLM direkt auf Präferenzpaaren optimieren – ganz ohne separates Reward Model und ohne RL
Beide starten mit denselben Daten: Paaren aus bevorzugten und abgelehnten Antworten. Der Unterschied liegt darin, was damit passiert.
Wie RLHF funktioniert
RLHF ist eine mehrstufige Pipeline:
- Präferenzdaten sammeln: Menschen bewerten, welche von zwei Modellantworten besser ist
- Reward Model trainieren: Ein Modell lernt, diese menschlichen Urteile vorherzusagen
- RL-Optimierung: Das LLM (die “Policy”) generiert Antworten, das Reward Model bewertet sie, und ein RL-Algorithmus – klassisch PPO – passt die Gewichte so an, dass der Reward steigt. Eine KL-Strafe gegenüber einem Referenzmodell verhindert, dass das Modell zu weit von seinem Ausgangsverhalten abdriftet.
Stärken:
- Flexibles Reward-Signal: Neben gelernten Reward Models lassen sich Regeln, Verifier oder mehrere kombinierte Signale nutzen
- Online-Lernen: Das Modell lernt aus seinen eigenen, frisch generierten Outputs – es erkundet den Antwortraum aktiv
- Bewährt für anspruchsvolles Alignment auf Frontier-Niveau
Schwächen:
- Komplex: Drei bis vier Modelle gleichzeitig (Policy, Referenz, Reward Model, ggf. Value-Funktion) – hoher Speicher- und Engineering-Aufwand
- Instabil: PPO reagiert empfindlich auf Hyperparameter; Trainings können kollabieren
- Reward Hacking: Die Policy findet Schlupflöcher im Reward Model
Wie DPO funktioniert
DPO kürzt die Pipeline radikal ab. Die zentrale Erkenntnis: Unter bestimmten Annahmen lässt sich das RLHF-Ziel mathematisch so umformen, dass man das Reward Model komplett überspringen kann. Statt Reward Model + RL gibt es einen einzigen Loss, der das Modell direkt anweist: Erhöhe die Wahrscheinlichkeit der bevorzugten Antwort, senke die der abgelehnten – relativ zu einem Referenzmodell.
Stärken:
- Einfach: Training läuft wie gewöhnliches überwachtes Fine-Tuning – kein Sampling, kein RL-Loop
- Stabil und reproduzierbar: deutlich weniger Hyperparameter-Roulette
- Günstig: nur Policy und Referenzmodell nötig, kein Online-Generieren während des Trainings
Schwächen:
- Offline: DPO lernt nur aus dem vorhandenen Präferenz-Datensatz, nicht aus neuen eigenen Outputs
- Weniger flexibel: Komplexe Reward-Strukturen – etwa kombinierte Signale aus Korrektheits-Checks, Stilregeln und gelernten Bewertungen – lassen sich nicht direkt abbilden
- Kann sich an Eigenheiten des Datensatzes überanpassen (z. B. Antwortlänge als Scheinmerkmal)
Wann was?
DPO wählen, wenn:
- Du einen soliden Präferenz-Datensatz hast (oder günstig erzeugen kannst)
- Dein Team keine RL-Erfahrung hat
- Budget und Infrastruktur begrenzt sind
- Das Ziel klassisches Präferenz-Alignment ist: Ton, Hilfreichkeit, Format
RLHF wählen, wenn:
- Das Reward-Signal nicht nur aus Paarvergleichen besteht – etwa automatische Verifikation, Regelwerke oder mehrere gewichtete Kriterien
- Das Modell durch Exploration eigener Outputs besser werden soll
- Du iterativ mit frischem Feedback nachtrainieren willst
- Team und Infrastruktur den RL-Aufwand stemmen können
Der unterschätzte Faktor: Datenqualität
Egal welche Methode gewinnt – beide stehen und fallen mit den Präferenzdaten. Häufige Stolperfallen:
- Scheinmerkmale: Wenn die bevorzugten Antworten systematisch länger sind, lernt das Modell “länger = besser” statt der eigentlichen Qualitätskriterien. Das trifft DPO besonders hart, weil es keinen Explorations-Mechanismus hat, der solche Verzerrungen aufdecken könnte
- Inkonsistente Annotationen: Widersprechen sich die Bewerter, lernt weder ein Reward Model noch DPO ein sauberes Signal. Klare Bewertungsrichtlinien und Überlappungs-Checks zwischen Annotatoren zahlen sich mehr aus als jede Methodenwahl
- Zu enge Abdeckung: Präferenzpaare nur aus einem Themenbereich führen zu einem Modell, das außerhalb davon unverändert bleibt – oder sich unvorhersehbar verhält
Die pragmatische Konsequenz: Bevor du zwischen RLHF und DPO abwägst, investiere in den Datensatz. Ein mittelmäßiges Verfahren auf exzellenten Daten schlägt ein exzellentes Verfahren auf mittelmäßigen Daten.
Die Kombination
In der Praxis schließen sich beide nicht aus. Ein verbreitetes Vorgehen:
- SFT (Supervised Fine-Tuning) als Basis
- DPO als schnelle, stabile erste Alignment-Runde
- RLHF/RL obendrauf, wenn komplexere Reward-Signale oder Online-Feedback den Mehraufwand rechtfertigen
Faustregel: DPO ist der Startpunkt, RLHF die Ausbaustufe. Wer nicht genau weiß, warum er RL braucht, fährt mit DPO fast immer besser – einfacher zu debuggen, günstiger zu trainieren und für die meisten Alignment-Ziele völlig ausreichend. Die Präferenzdaten, die du für DPO sammelst, sind dabei keine Sackgasse: Dieselben Paare trainieren später auch ein Reward Model, falls der Schritt zu RLHF doch noch kommt.