Sofortantwort
Logits einfach erklärt
Unnormalisierte Ausgabewerte eines neuronalen Netzes vor der Umwandlung.
- Kurz gesagt
- Rohe Ausgabewerte des Modells vor der Wahrscheinlichkeitsberechnung
- Typischer Einsatz
- Confidence Scoring, Token-Analyse, Custom Sampling
- Wichtig zu wissen
- Temperatur und Top-p wirken auf die Logits, bevor Tokens ausgewählt werden
Logits im Überblick
Logits sind die “Rohwerte”, die ein Sprachmodell für jedes mögliche nächste Token berechnet. Sie zeigen, wie “überzeugt” das Modell von jedem Token ist – bevor daraus Wahrscheinlichkeiten werden.
Warum sind Logits wichtig?
- Temperatur wirkt auf die Logits: Hohe Temperatur = mehr Zufallsvariation
- Confidence Scoring: Logits zeigen, wie sicher das Modell ist
- Custom Sampling: Eigene Strategien basierend auf Logits implementieren
Der Ablauf:
Eingabe → Modell → Logits → Temperatur → Softmax → Wahrscheinlichkeiten → Sampling → Token
[2.5] [/T] [→] [0.45] [→] "Katze"
[1.8] [0.30]
[0.3] [0.15]
[-1.2] [0.10]Unterschied zu Wahrscheinlichkeiten: Logits können beliebige Zahlen sein (auch negativ). Erst die Softmax-Funktion wandelt sie in Wahrscheinlichkeiten (0-1, Summe = 1) um.
Technisch betrachtet
Softmax-Funktion
P(token_i) = exp(logit_i) / Σ_j exp(logit_j)Wandelt beliebige Zahlenwerte in eine Wahrscheinlichkeitsverteilung um (alle positiv, Summe = 1).
Logit Bias
Einige APIs erlauben “Logit Bias” – die manuelle Anpassung von Logits für bestimmte Tokens:
- Positive Werte: Token wird wahrscheinlicher
- Negative Werte: Token wird unwahrscheinlicher
- -100: Token wird praktisch ausgeschlossen
Log-Probabilities
OpenAI gibt optional logprobs zurück – die logarithmierten Wahrscheinlichkeiten der Top-Tokens. Nützlich für:
- Confidence-Messung der Antwort
- Erkennung unsicherer Stellen
- Evaluation der Modellqualität
Temperatur-Einfluss auf Logits
Logits: [2.5, 1.8, 0.3, -1.2]
Temperatur 0.5 (Logits / 0.5 = schärfer):
-> [5.0, 3.6, 0.6, -2.4] → Wahrscheinlichkeiten: [0.72, 0.24, 0.03, 0.01]
Temperatur 2.0 (Logits / 2.0 = flacher):
-> [1.25, 0.9, 0.15, -0.6] → Wahrscheinlichkeiten: [0.38, 0.32, 0.22, 0.08]Niedrige Temperatur → das wahrscheinlichste Token dominiert stark. Hohe Temperatur → auch unwahrscheinliche Tokens bekommen eine Chance.
Praxis: Logits für Halluzinationserkennung
Wenn ein Modell eine Antwort mit niedrigen logprobs generiert (z. B. unter -3.0), ist das ein Signal für Unsicherheit. Automatisierte Systeme können solche Stellen markieren oder zur Verifikation flaggen.
Schritt für Schritt
Wie aus Logits eine Modellantwort entsteht
Logits sind interne Bewertungswerte. Erst durch Normalisierung und Auswahl wird daraus ein wahrscheinliches nächstes Token.
Kontext verarbeiten
Bewerten
Das Modell verarbeitet die bisherigen Tokens und berechnet für jedes mögliche nächste Token einen rohen Bewertungswert.
Kontext → LogitsVerteilung formen
Normalisieren
Temperatur oder andere Regeln verändern die relativen Werte; Softmax wandelt sie in eine Wahrscheinlichkeitsverteilung um.
Logits → WahrscheinlichkeitenToken auswählen und wiederholen
Generieren
Sampling wählt ein Token. Dieses wird Teil des neuen Kontexts und der Ablauf beginnt erneut.
Verteilung → Token → neuer Kontext
Konkretes Beispiel
Beispiel: Antworten kontrollierter erzeugen
Eine Anwendung soll aus einer festen Liste eine Kategorie als nächstes Token auswählen.
Logits als Gewissheit lesen
Der höchste Logit wird als Beleg für eine sichere Entscheidung interpretiert, obwohl das Modell außerhalb seines Trainingskontexts arbeiten kann.
Ausgabe als Wahrscheinlichkeit behandeln
Das Team nutzt klare Auswahlregeln, prüft die Eingabe und leitet unsichere Fälle an einen Kontrollprozess weiter. Die Modellwerte bleiben ein Signal, kein Wahrheitsbeweis.
Logits beschreiben interne Präferenzen eines Modells. Ihre praktische Bedeutung hängt von Aufgabe, Kalibrierung und Prüfprozess ab.
Einordnung
Vorteile und Grenzen
Das spricht dafür
- Machen die nächste Auswahlebene eines neuronalen Modells technisch nachvollziehbar.
- Ermöglichen Sampling-Regeln wie Temperatur, Top-p oder strukturierte Auswahl.
- Können bei lokalen Modellen und Evaluationen zusätzliche Diagnosesignale liefern.
Das solltest du beachten
- Hohe Logits sind keine verlässliche Aussage über sachliche Richtigkeit.
- Logit-Skalen sind zwischen Modellen und Aufgaben nicht direkt vergleichbar.
- Eine technische Auswertung ersetzt keine Kalibrierung und keine Prüfung des Gesamtergebnisses.
Vertiefung · für FortgeschritteneLogits zwischen Modell und Token-Auswahl
Die rohen Ausgabewerte liegen zwischen der Modellberechnung und den Sampling-Regeln für den nächsten Schritt.
Rohe Token-Bewertungen
- Large Language Model
- Ein KI-Modell, das menschenähnliche Sprache generiert und versteht.
- Tokens
- Texteinheiten, die ein Sprachmodell verarbeiten kann.
- Temperatur
- Ein Parameter, der die Kreativität der Textausgabe eines Modells beeinflusst.
- Top-p
- Sampling-Methode, die die wahrscheinlichsten Tokens auswählt.
- Inferenz
- Einsatz eines KI-Modells zur Vorhersage neuer Daten.