RAG vs Fine-Tuning

Die Kernfrage

Du willst ein LLM mit eigenem Wissen ausstatten. Zwei Wege führen zum Ziel:

• RAG: Relevante Dokumente zur Laufzeit abrufen und dem LLM als Kontext mitgeben
• Fine-Tuning: Das LLM auf eigenen Daten weiter trainieren

Beide Ansätze haben ihre Stärken – die richtige Wahl hängt von deinem Use Case ab.

Wann RAG?

RAG ist die richtige Wahl, wenn:

• Deine Daten sich häufig ändern (Produktkataloge, Dokumentation, News)
• Du schnell starten willst (Tage statt Wochen)
• Nachvollziehbarkeit wichtig ist (Quellen zitieren)
• Du kein ML-Team hast
• Daten sensibel sind und nicht ins Training fließen sollen

Typische RAG Use Cases:

• Kundenservice-Bot mit Wissensdatenbank
• Dokumenten-Q&A (“Was steht in Vertrag X?”)
• Interne Unternehmenssuche

Wann Fine-Tuning?

Fine-Tuning ist die richtige Wahl, wenn:

• Du einen spezifischen Stil oder Tonalität brauchst
• Das Modell Domänen-Denkpfade lernen soll (Antwortstruktur, Prioritäten)
• Du volle Kontrolle über das Modell brauchst (Self-Hosting)
• Latenz kritisch ist (kein Retrieval-Overhead)
• Du ein kleineres, spezialisiertes Modell willst

Wichtig: Fine-Tuning lehrt dem Modell Verhalten, nicht zuverlässig neues Wissen. Das Modell lernt:

• Antwortstruktur und Denkpfade
• Sprachmuster und Tonalität
• Prioritäten bei der Antwortgenerierung

Nicht zuverlässig lernbar:

• 10.000 neue Produktdaten
• Ständig wechselnde Fakten
• Konkrete Zahlen und Daten

→ Das bleibt RAG-Territorium.

Typische Fine-Tuning Use Cases:

• Medizinische/juristische Fachsprache
• Code-Generierung für spezifische Frameworks
• Marken-Tonalität konsistent halten

Die Kombination: Best of Both Worlds

Für viele Anwendungen ist die Kombination optimal:

Fine-Tuned Model (Stil, Domänen-Verständnis)
        +
RAG (aktuelle Fakten, Dokumente)
        =
Spezialisiertes Modell mit aktuellem Wissen

Typische Produktions-Architektur:

1. Embeddings + Vektordatenbank
2. Retrieval (relevante Dokumente finden)
3. Re-Ranking (beste Treffer priorisieren)
4. Fine-Tuned LLM (Antwort generieren)
5. Optional: Guardrails (Qualitätssicherung)

Beispiel: Ein Rechtsassistent mit Fine-Tuning für juristische Sprache und RAG für aktuelle Gesetze und Urteile.

Entscheidungsbaum

Brauchst du aktuelles/sich änderndes Wissen?
├── Ja → RAG (oder RAG + Fine-Tuning)
└── Nein
    └── Brauchst du spezifischen Stil/Reasoning?
        ├── Ja → Fine-Tuning
        └── Nein → Prompting reicht vielleicht

Kosten-Vergleich

Faustregel: RAG ist günstiger bei unter 100k Anfragen/Monat. Bei sehr hohem Volumen kann ein spezialisiertes Fine-Tuned Modell günstiger werden.

Strategische Empfehlung nach Phase

Für 80% der Web-Use-Cases reicht: RAG + gutes Prompting + sauberes Retrieval. Fine-Tuning ist oft eine Optimierung, kein Startpunkt.