Temperatur

Temperatur im Überblick

Die Temperatur ist ein numerischer Parameter zwischen 0 und 2, der steuert, wie “mutig” ein Sprachmodell bei der Wahl des nächsten Wortes ist. Niedrige Werte machen das Modell präzise und vorhersehbar, hohe Werte machen es kreativer und überraschender – aber auch fehleranfälliger. Für faktische Aufgaben wie Code-Generierung empfiehlt sich 0.0–0.3, für kreatives Schreiben 0.7–1.0. Werte über 1.0 produzieren oft inkohärente Ausgaben und sind selten sinnvoll. Die Temperatur ist einer der wichtigsten Parameter beim Einsatz von LLMs – und einer der ersten, den man anpassen sollte, wenn die Ausgaben zu repetitiv oder zu chaotisch sind.

Die Temperatur steuert, wie “mutig” ein Sprachmodell bei der Wahl des nächsten Wortes ist.

Beispiel: Auf die Frage “Die Hauptstadt von Frankreich ist…”

• Temperatur 0: “Paris” (immer die wahrscheinlichste Antwort)
• Temperatur 0.5: “Paris” (meistens, gelegentlich Variationen in der Formulierung)
• Temperatur 1.5: “Paris, die Stadt der Lichter und…” (kreativere, längere Antwort)

Technisch betrachtet

Mathematische Wirkung

Die Temperatur T skaliert die Logits vor der Softmax-Funktion:

P(token_i) = exp(logit_i / T) / Σ exp(logit_j / T)

• T < 1: Verteilung wird “schärfer” → wahrscheinliche Tokens werden noch wahrscheinlicher
• T = 1: Originalverteilung des Modells
• T > 1: Verteilung wird “flacher” → unwahrscheinliche Tokens bekommen mehr Chance

Zusammenspiel mit anderen Parametern

• Top-p: Begrenzt die Auswahl auf die wahrscheinlichsten Tokens (kumulativ)
• Top-k: Begrenzt auf die k wahrscheinlichsten Tokens
• Frequency Penalty: Bestraft Wiederholungen
• Presence Penalty: Fördert neue Themen

Visualisierung der Verteilung

Token-Wahrscheinlichkeiten für "Die Katze sitzt auf der ___"

         T=0.3 (scharf)    T=1.0 (normal)    T=2.0 (flach)
Matte    ████████████ 85%  ████████ 45%      ████ 25%
Couch    ██ 10%            ████ 25%          ███ 20%
Bank     █ 3%              ██ 15%            ███ 18%
Wolke    ░ 1%              █ 8%              ██ 15%
Mond     ░ 1%              █ 7%              ██ 12%

Code-Beispiel (OpenAI API)

from openai import OpenAI

client = OpenAI()

# Gleiche Frage, verschiedene Temperaturen
for temp in [0, 0.5, 1.0, 1.5]:
    response = client.chat.completions.create(
        model="gpt-5",
        messages=[{"role": "user", "content": "Nenne eine Farbe"}],
        temperature=temp,
        max_tokens=10
    )
    print(f"T={temp}: {response.choices[0].message.content}")

# Typische Ausgabe:
# T=0: Blau
# T=0.5: Blau
# T=1.0: Grün
# T=1.5: Koralle

Häufige Fehler

• Temperatur zu hoch für Code: Führt zu Syntaxfehlern und erfundenen Funktionen
• Temperatur 0 für Kreativität: Immer gleiche, langweilige Ausgaben
• Temperatur ignorieren: Standardwert (oft 1.0) ist nicht für jeden Use Case optimal