Next-Token-Prediction: Wie LLMs Sprache erzeugen

ERKLÄRUNG

Einfach erklärt

Next-Token-Prediction (die Vorhersage des nächsten Tokens) ist das Herzstück moderner großer Sprachmodelle. Das Prinzip klingt fast zu simpel: Gegeben ein Stück Text, sagt das Modell voraus, welches Token am wahrscheinlichsten als Nächstes folgt. Dann hängt es dieses Token an und wiederholt den Vorgang – Token für Token entsteht so ein ganzer Text.

Das Erstaunliche: Aus dieser einen Aufgabe erwachsen all die Fähigkeiten, die LLMs auszeichnen. Denn um wirklich gut vorherzusagen, was als Nächstes kommt, muss ein Modell Sprache, Wissen und Zusammenhänge verstehen.

Technischer Deep Dive

Ein Ziel, zwei Rollen

Next-Token-Prediction ist zugleich:

Trainingsziel – das Modell lernt aus riesigen Textmengen, indem es immer wieder das nächste Token erraten und sich korrigieren muss.
Generierungsprinzip – nach dem Training erzeugt dasselbe Verfahren neue Texte.

Von der Verteilung zum Token

Das Modell gibt keine einzelne Antwort aus, sondern eine Wahrscheinlichkeitsverteilung über den gesamten Wortschatz – berechnet über eine Softmax-Funktion. Daraus wählt ein Decoding-Verfahren das nächste Token:

Verfahren	Verhalten
Greedy Decoding	immer das wahrscheinlichste Token
Temperature Sampling	mehr Zufall, mehr Kreativität
Top-k / Top-p	Auswahl auf die plausibelsten Tokens begrenzt

Warum daraus Intelligenz entsteht

Die Vorhersage des nächsten Tokens zwingt das Modell, Grammatik, Faktenwissen und logische Muster zu lernen – schlicht weil all das hilft, besser vorherzusagen. Genau deshalb ist ein so einfaches Ziel die Grundlage erstaunlich allgemeiner Sprachfähigkeiten.

ANALOGIE

Next-Token-Prediction ist wie das Autovervollständigen auf dem Handy – nur in extrem: Das Modell hat Milliarden Texte gelesen und schätzt für jedes Wort, was am wahrscheinlichsten als Nächstes kommt. Reiht man diese Vorhersagen aneinander, entstehen ganze Antworten.

WICHTIGSTE PUNKTE

Trainingsziel und Generierungsprinzip moderner Sprachmodelle zugleich

Das Modell schätzt eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Tokens

Aus dem simplen Ziel entstehen Grammatik, Wissen und Reasoning als Nebenprodukt

ANWENDUNGSFÄLLE

Textgenerierung

Jede Antwort eines Chatbots entsteht durch wiederholte Next-Token-Vorhersage

Autovervollständigung

Code- und Texteditoren schlagen die wahrscheinliche Fortsetzung vor

Pre-Training

Das Vortrainieren großer Modelle nutzt fast ausschließlich dieses Ziel

HÄUFIGE FRAGEN

Wenn LLMs nur das nächste Wort raten – wie können sie dann denken?

Um das nächste Token zuverlässig vorherzusagen, muss ein Modell Grammatik, Fakten, Zusammenhänge und sogar logische Schlüsse implizit erfassen. Diese Fähigkeiten entstehen als Nebenprodukt des Trainings, weil sie die Vorhersage verbessern – nicht weil sie explizit einprogrammiert wurden.

Was ist ein Token genau?

Ein Token ist eine kleine Texteinheit – oft ein Wortteil, manchmal ein ganzes Wort oder ein Satzzeichen. Modelle arbeiten nicht mit Buchstaben oder ganzen Wörtern, sondern mit diesen Tokens, die ein Tokenizer aus dem Text bildet.

Wie wird aus der Vorhersage konkreter Text?

Das Modell gibt eine Wahrscheinlichkeit für jedes mögliche nächste Token aus. Ein Sampling-Verfahren wählt daraus eines aus – mal das wahrscheinlichste (Greedy Decoding), mal zufälliger gesteuert über die Temperatur. Das gewählte Token wird angehängt und der Vorgang wiederholt sich.

TOOLS & RESSOURCEN

OpenAI Tokenizer

Zeigt, wie Text in Tokens zerlegt wird – die Einheit der Vorhersage

VERWANDTE BEGRIFFE

Grundlagen Grundlagen

Autoregressive Model

Ein Modelltyp, der Sequenzen Token für Token generiert – jedes neue Token basiert auf allen vorherigen. Ein Grundprinzip vieler moderner Sprachmodelle.

LLM Grundlagen

Large Language Model (LLM)

Ein KI-Modell, das auf riesigen Textmengen trainiert wurde und menschenähnliche Sprache verstehen und generieren kann.

LLM Grundlagen

Tokenisierung

Der Prozess, bei dem Text in kleinere Einheiten (Tokens) zerlegt wird, bevor ein Sprachmodell ihn verarbeiten kann – der erste und entscheidende Schritt jeder NLP-Pipeline.

Grundlagen Architektur

Softmax

Eine mathematische Funktion, die einen Vektor von Zahlen in eine Wahrscheinlichkeitsverteilung umwandelt – zentral für Klassifikation und Attention in neuronalen Netzen.

LLM Architektur

Greedy Decoding

Die einfachste Decoding-Strategie für LLMs – wählt bei jedem Schritt das wahrscheinlichste Token. Schnell und deterministisch, aber oft nicht optimal.

Architektur LLM

Decoder

Der Decoder ist der Teil eines Transformer-Modells, der Ausgaben erzeugt – Token für Token. Moderne LLMs wie GPT und Claude basieren auf reinen Decoder-Architekturen.