Sofortantwort
Next-Token-Prediction einfach erklärt
Grundprinzip von LLMs: wiederholt das wahrscheinlichste nächste Token vorhersagen.
- Kurz gesagt
- Trainingsziel und Generierungsprinzip moderner Sprachmodelle zugleich
- Typischer Einsatz
- Textgenerierung, Autovervollständigung, Pre-Training
- Wichtig zu wissen
- Aus dem simplen Ziel entstehen Grammatik, Wissen und Reasoning als Nebenprodukt
Next-Token-Prediction im Überblick
Next-Token-Prediction (die Vorhersage des nächsten Tokens) ist das Herzstück moderner großer Sprachmodelle. Das Prinzip klingt fast zu simpel: Gegeben ein Stück Text, sagt das Modell voraus, welches Token am wahrscheinlichsten als Nächstes folgt. Dann hängt es dieses Token an und wiederholt den Vorgang – Token für Token entsteht so ein ganzer Text.
Das Erstaunliche: Aus dieser einen Aufgabe erwachsen all die Fähigkeiten, die LLMs auszeichnen. Denn um wirklich gut vorherzusagen, was als Nächstes kommt, muss ein Modell Sprache, Wissen und Zusammenhänge verstehen.
Technisch betrachtet
Ein Ziel, zwei Rollen
Next-Token-Prediction ist zugleich:
- Trainingsziel – das Modell lernt aus riesigen Textmengen, indem es immer wieder das nächste Token erraten und sich korrigieren muss.
- Generierungsprinzip – nach dem Training erzeugt dasselbe Verfahren neue Texte.
Von der Verteilung zum Token
Das Modell gibt keine einzelne Antwort aus, sondern eine Wahrscheinlichkeitsverteilung über den gesamten Wortschatz – berechnet über eine Softmax-Funktion. Daraus wählt ein Decoding-Verfahren das nächste Token:
| Verfahren | Verhalten |
|---|---|
| Greedy Decoding | immer das wahrscheinlichste Token |
| Temperature Sampling | mehr Zufall, mehr Kreativität |
| Top-k / Top-p | Auswahl auf die plausibelsten Tokens begrenzt |
Warum daraus Intelligenz entsteht
Die Vorhersage des nächsten Tokens zwingt das Modell, Grammatik, Faktenwissen und logische Muster zu lernen – schlicht weil all das hilft, besser vorherzusagen. Genau deshalb ist ein so einfaches Ziel die Grundlage erstaunlich allgemeiner Sprachfähigkeiten.