Few-Shot / Zero-Shot Learning
Die Fähigkeit von KI-Modellen, Aufgaben mit nur wenigen Beispielen (Few-Shot) oder ganz ohne Beispiele (Zero-Shot) zu lösen.
Die Fähigkeit eines Modells, Aufgaben zu lösen, für die es keine spezifischen Trainingsbeispiele gesehen hat – eine Schlüsseleigenschaft moderner Foundation Models und LLMs.
Zero-Shot Learning bedeutet, dass ein Modell eine Aufgabe lösen kann, ohne dafür spezifisch trainiert worden zu sein. Es reicht, die Aufgabe in natürlicher Sprache zu beschreiben.
Die drei Lern-Modi:
Zero-Shot: "Klassifiziere: 'Tolles Produkt!' → ?"
Modell: "Positiv" ✓
One-Shot: "Beispiel: 'Furchtbar' → Negativ.
Klassifiziere: 'Tolles Produkt!' → ?"
Modell: "Positiv" ✓
Few-Shot: "Beispiele:
'Furchtbar' → Negativ
'Super!' → Positiv
'Geht so' → Neutral
Klassifiziere: 'Tolles Produkt!' → ?"
Modell: "Positiv" ✓
Foundation Models haben im Pre-Training implizites Aufgabenwissen erworben:
| Was das Modell im Pre-Training gesehen hat | Was es daraus ableiten kann |
|---|---|
| Millionen Produktbewertungen mit Sternen | Sentiment-Analyse |
| Parallele Texte in vielen Sprachen | Übersetzung |
| Wikipedia-Kategorisierungen | Text-Klassifikation |
| Frage-Antwort-Formate | Question Answering |
| Aspekt | Zero-Shot | Fine-Tuning |
|---|---|---|
| Daten nötig | Keine | Hunderte bis Tausende |
| Kosten | Nur Inferenz | Training + Inferenz |
| Flexibilität | Hoch (jede Aufgabe) | Niedrig (spezialisiert) |
| Genauigkeit | Gut | Sehr gut |
| Setup-Zeit | Minuten | Stunden bis Tage |
Faustregel: Starte mit Zero-Shot, probiere Few-Shot wenn nötig, Fine-Tune nur wenn die Genauigkeit für den Anwendungsfall nicht reicht.
Zero-Shot Learning ist wie ein Mensch, der noch nie einen Delfin gesehen hat, aber aus der Beschreibung 'Säugetier, lebt im Wasser, grau, intelligent' sofort einen erkennen kann – weil er genug über die Welt weiß, um neue Konzepte abzuleiten.
Keine aufgabenspezifischen Beispiele nötig – nur eine Beschreibung der Aufgabe
Möglich durch das breite Weltwissen aus dem Pre-Training
Grundlage für die Vielseitigkeit von GPT-4, Claude und anderen LLMs
Textklassifikation
Texte in beliebige Kategorien einordnen, ohne Trainingsbeispiele pro Kategorie
Sprachübersetzung
Übersetzen in Sprachen, für die wenig parallele Trainingsdaten existieren
Sentiment-Analyse
Stimmung erkennen mit nur einer Prompt-Instruktion statt tausenden gelabelten Beispielen
Bei Zero-Shot gibst du nur die Aufgabenbeschreibung ('Klassifiziere als positiv oder negativ'). Bei Few-Shot gibst du zusätzlich 2–5 Beispiele. Few-Shot ist oft genauer, Zero-Shot ist flexibler und braucht weniger Vorbereitung.
Weil große Sprachmodelle im Pre-Training Milliarden von Texten gelesen haben, in denen ähnliche Aufgaben vorkommen. Das Modell hat implizit gelernt, was 'Klassifiziere' oder 'Übersetze' bedeutet – auch ohne explizite Beispiele.
Bei sehr spezifischen Domänen (Fachsprache, Unternehmens-Terminologie), ungewöhnlichen Aufgabenformaten oder wenn höchste Genauigkeit nötig ist. Dann hilft Few-Shot, Fine-Tuning oder RAG.