Direct Preference Optimization (DPO)

Direct Preference Optimization im Überblick

DPO ist eine Trainingsmethode für LLM-Alignment, die einfacher ist als RLHF. Statt ein separates Reward Model zu trainieren, lernt das LLM direkt aus Beispielen: “Diese Antwort ist besser als jene.”

Warum ist das wichtig?

RLHF ist komplex und instabil (Reward Hacking, Training-Instabilität). DPO erreicht ähnliche Ergebnisse mit einem einfacheren, stabileren Prozess.

Der Unterschied:

RLHF:
1. Sammle Präferenzdaten (A > B)
2. Trainiere Reward Model
3. Optimiere LLM mit PPO gegen Reward Model
-> Komplex, instabil, aufwändig

DPO:
1. Sammle Präferenzdaten (A > B)
2. Optimiere LLM direkt auf Präferenzen
-> Einfach, stabil, effizient

Technisch betrachtet

Die DPO Loss Function

DPO maximiert die Wahrscheinlichkeit der bevorzugten Antwort relativ zur abgelehnten:

L_DPO = -log σ(β · (log π(y_w|x) - log π(y_l|x) - log π_ref(y_w|x) + log π_ref(y_l|x)))

Wobei:

• y_w = bevorzugte (winning) Antwort
• y_l = abgelehnte (losing) Antwort
• π = trainiertes Modell
• π_ref = Referenzmodell (vor DPO)
• β = Temperatur-Parameter

Datenformat

{
  "prompt": "Erkläre Quantencomputing einfach.",
  "chosen": "Quantencomputer nutzen Qubits, die...",
  "rejected": "Quantencomputing ist ein komplexes Feld der Physik, das..."
}

Vergleich RLHF vs. DPO

Varianten

• IPO (Identity Preference Optimization): Robuster bei verrauschten Präferenzen
• KTO (Kahneman-Tversky Optimization): Braucht keine Paare, nur gut/schlecht Labels
• ORPO: Kombiniert SFT und Präferenz-Optimierung in einem Schritt