Fine-Tuning

Fine-Tuning im Überblick

Fine-Tuning bedeutet, ein bereits trainiertes KI-Modell mit eigenen Daten weiterzutrainieren, um es für eine bestimmte Aufgabe zu spezialisieren. Statt ein Modell von Null aufzubauen, nutzt du das vorhandene Wissen und passt es an. Fine-Tuning ist der Kompromiss zwischen Prompt Engineering (kein Training, aber begrenzte Kontrolle) und vollständigem Training (maximale Kontrolle, aber extrem teuer). Es eignet sich besonders, wenn ein Modell konsistent in einem bestimmten Stil antworten soll oder domänenspezifisches Verhalten zeigen muss, das sich durch Prompts allein nicht zuverlässig steuern lässt. Techniken wie LoRA und QLoRA machen Fine-Tuning auch auf Consumer-Hardware möglich: Ein 7B-Modell kann mit einer RTX 3090 in wenigen Stunden fine-getuned werden. Für viele Anwendungsfälle ist Fine-Tuning heute die kosteneffizienteste Methode, ein Modell zu spezialisieren.

Warum Fine-Tuning?

• Spezialisierung: Das Modell lernt Fachbegriffe, Stil oder Verhaltensweisen deiner Domäne
• Konsistenz: Gleichbleibende Ausgabequalität und -format
• Effizienz: Kürzere Prompts nötig, da das Wissen im Modell steckt
• Kosten: Geringere Inferenz-Kosten durch kürzere Prompts

Fine-Tuning vs. RAG vs. Prompt Engineering:

Wann Fine-Tuning sinnvoll ist:

• Du brauchst einen bestimmten Ausgabestil oder Tonalität
• Das Modell soll domänenspezifisches Verhalten zeigen
• Du willst Inferenz-Kosten durch kürzere Prompts senken
• Prompt Engineering allein liefert nicht die gewünschte Qualität

Technisch betrachtet

Fine-Tuning-Methoden

Full Fine-Tuning:

• Alle Parameter des Modells werden aktualisiert
• Beste Ergebnisse, aber höchster Ressourcenbedarf
• Nur für große Organisationen mit entsprechender Hardware praktikabel

LoRA (Low-Rank Adaptation):

• Fügt kleine trainierbare Matrizen zu den bestehenden Gewichten hinzu
• Nur 0,1-1% der Parameter werden trainiert
• Drastisch reduzierter Speicher- und Rechenbedarf
• Standard-Methode für die meisten Fine-Tuning-Aufgaben

QLoRA (Quantized LoRA):

• Kombiniert LoRA mit 4-Bit-Quantisierung des Basismodells
• Ermöglicht Fine-Tuning von 70B-Modellen auf einer einzelnen GPU
• Minimaler Qualitätsverlust gegenüber Full Fine-Tuning

Adapter-Methoden:

• Kleine Adapter-Module werden zwischen bestehende Schichten eingefügt
• Basismodell bleibt unverändert
• Mehrere Adapter für verschiedene Aufgaben möglich

Der Fine-Tuning-Prozess

1. Daten vorbereiten:

• Format: JSONL mit Instruction/Input/Output-Paaren
• Qualitätskontrolle: Inkonsistente oder fehlerhafte Beispiele entfernen
• Aufteilung: 80% Training, 10% Validation, 10% Test

Beispiel-Datenformat:

{"messages": [
  {"role": "system", "content": "Du bist ein technischer Redakteur."},
  {"role": "user", "content": "Erkläre Docker in einem Satz."},
  {"role": "assistant", "content": "Docker ist eine Plattform, die Anwendungen in isolierten Containern verpackt, sodass sie überall gleich laufen."}
]}

2. Hyperparameter wählen:

• Learning Rate: 1e-5 bis 5e-5 (niedriger als Pre-Training)
• Epochs: 1-5 (mehr kann zu Overfitting führen)
• Batch Size: 4-32 (abhängig von GPU-Speicher)
• LoRA Rank: 8-64 (höher = mehr Kapazität, mehr Speicher)

3. Training durchführen:

• Validation Loss überwachen
• Early Stopping bei steigendem Validation Loss
• Checkpoints speichern

4. Evaluation:

• Automatische Metriken (Perplexity, BLEU, ROUGE)
• Menschliche Evaluation für Qualität und Stil
• A/B-Tests gegen das Basismodell

RLHF (Reinforcement Learning from Human Feedback)

Die Methode, mit der ChatGPT und Claude trainiert wurden:

1. Supervised Fine-Tuning (SFT): Modell lernt aus menschlich geschriebenen Beispielen
2. Reward Model Training: Ein zweites Modell lernt menschliche Präferenzen
3. PPO-Training: Das Modell wird mit dem Reward Model optimiert

Alternativen zu RLHF:

• DPO (Direct Preference Optimization): Einfacher, ohne separates Reward Model
• ORPO: Kombiniert SFT und Preference Optimization in einem Schritt
• KTO: Benötigt nur binäres Feedback (gut/schlecht)

Catastrophic Forgetting vermeiden

• Niedrige Learning Rate: Kleine Änderungen an den Gewichten
• LoRA/QLoRA: Basismodell bleibt unverändert
• Regularisierung: Weight Decay und Dropout
• Diverse Trainingsdaten: Nicht nur Spezialwissen, auch allgemeine Beispiele
• Evaluation auf allgemeinen Benchmarks: Sicherstellen, dass Basiswissen erhalten bleibt