Top-p (Nucleus Sampling)

Einfach erklärt

Top-p (auch Nucleus Sampling) ist eine Methode, die steuert, aus wie vielen Token-Kandidaten das Modell bei der Textgenerierung wählen darf.

Beispiel: Das Modell soll das nächste Wort nach “Der Hund” vorhersagen:

"bellt"   → 40% Wahrscheinlichkeit
"rennt"   → 25%
"schläft" → 15%
"frisst"  → 10%
"tanzt"   → 5%
"fliegt"  → 3%
"singt"   → 2%

• Top-p = 0.8: Wählt aus schläft (kumulativ 80%)
• Top-p = 0.95: Wählt aus tanzt (kumulativ 95%)
• Top-p = 1.0: Alle Tokens möglich

Technischer Deep Dive

Algorithmus

1. Sortiere Tokens nach Wahrscheinlichkeit (absteigend)
2. Berechne kumulative Wahrscheinlichkeit
3. Schneide ab, sobald die kumulative Wahrscheinlichkeit p überschreitet
4. Normalisiere die verbleibenden Wahrscheinlichkeiten
5. Sample aus der reduzierten Verteilung

Vorteile gegenüber Top-k

Top-p passt sich dynamisch an den Kontext an:

• Bei eindeutigen Kontexten (z.B. “Die Hauptstadt von Frankreich ist”): Wenige Tokens im Nucleus
• Bei mehrdeutigen Kontexten (z.B. “Heute möchte ich”): Viele Tokens im Nucleus

Top-k hat immer eine feste Anzahl, was in eindeutigen Kontexten zu viele und in mehrdeutigen zu wenige Optionen bieten kann.

Praktische Empfehlungen

Use Case	Top-p	Temperatur	Begründung
Fakten/Code	0.1-0.3	0	Nur beste Tokens, deterministisch
Allgemein	0.9	0.7	Guter Standard
Kreativ	0.95	1.0	Mehr Vielfalt
Brainstorming	1.0	1.2	Maximale Variation

Code-Beispiel (OpenAI API)

from openai import OpenAI

client = OpenAI()

# Faktisch/Deterministisch
response = client.chat.completions.create(
    model="gpt-5",
    messages=[{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}],
    temperature=0,
    top_p=0.1
)

# Kreativ
response = client.chat.completions.create(
    model="gpt-5",
    messages=[{"role": "user", "content": "Schreibe ein Haiku über KI"}],
    temperature=1.0,
    top_p=0.95
)

Wichtige Hinweise

• Nicht beide stark ändern: OpenAI empfiehlt, entweder Temperatur ODER Top-p anzupassen, nicht beide gleichzeitig extrem
• Top-p=1.0: Keine Einschränkung, alle Tokens möglich (Temperatur bestimmt dann allein)
• Top-p=0: Würde nur das wahrscheinlichste Token erlauben (praktisch nie verwendet)