Foundation Model

Foundation Model im Überblick

Ein Foundation Model ist ein großes, auf riesigen Datenmengen vortrainiertes Modell, das als Basis für viele verschiedene Downstream-Aufgaben dient. Der Begriff wurde 2021 von Stanford geprägt und beschreibt Modelle wie GPT, Claude, Gemini oder BERT. Das Besondere: Ein einziges Modell kann durch Fine-Tuning oder Prompting für Dutzende verschiedene Aufgaben eingesetzt werden – Übersetzung, Zusammenfassung, Code-Generierung, Klassifikation. Das hat die KI-Entwicklung fundamental verändert.

Ein Foundation Model ist ein großes, vortrainiertes KI-Modell, das als Basis für viele verschiedene Anwendungen dient. Statt für jede Aufgabe ein neues Modell zu trainieren, passt man das Foundation Model an.

Warum ist das revolutionär?

Früher: Für jede Aufgabe ein eigenes Modell trainieren (teuer, langsam). Heute: Ein Foundation Model für viele Aufgaben nutzen (effizient, flexibel).

Beispiele:

Technisch betrachtet

Das Foundation Model Paradigma

Traditionell:
Aufgabe A → Daten sammeln → Modell trainieren → Modell A
Aufgabe B → Daten sammeln → Modell trainieren → Modell B
Aufgabe C → Daten sammeln → Modell trainieren → Modell C

Mit Foundation Models:
Riesige Daten → Foundation Model trainieren
                      ↓
              ┌───────┼───────┐
              ↓       ↓       ↓
           Aufgabe A  B       C
           (Prompting/Fine-Tuning)

Eigenschaften

• Scale: Milliarden bis Billionen Parameter
• Generalist: Kann viele Aufgaben ohne spezifisches Training
• Adaptierbar: Durch Prompting oder Fine-Tuning spezialisierbar
• Emergent Abilities: Fähigkeiten, die erst bei großer Skala erscheinen

Anpassungsmethoden

Risiken und Herausforderungen

• Bias: Foundation Models übernehmen Bias aus Trainingsdaten
• Halluzinationen: Erfinden plausibel klingende Falschinformationen
• Sicherheit: Können für schädliche Zwecke missbraucht werden
• Abhängigkeit: Wenige Anbieter kontrollieren die wichtigsten Modelle