Decoder erklärt: Der Textgenerator im Transformer

ERKLÄRUNG

Einfach erklärt

Der Decoder ist der Teil eines Transformer-Modells, der Ausgaben erzeugt. Während ein Encoder eine Eingabe versteht und in eine interne Repräsentation übersetzt, baut der Decoder daraus – oder aus dem bisher Geschriebenen – Stück für Stück die Ausgabe auf: ein Token nach dem anderen.

Moderne große Sprachmodelle wie GPT und Claude sind Decoder-only-Modelle. Sie bestehen ausschließlich aus gestapelten Decoder-Schichten und erzeugen Text, indem sie immer wieder das wahrscheinlichste nächste Token vorhersagen.

Technischer Deep Dive

Autoregressive Generierung

Der Decoder arbeitet autoregressiv: Jedes neu erzeugte Token wird an die Eingabe angehängt und dient als Grundlage für das nächste. So entsteht Text streng von links nach rechts.

"Die Hauptstadt" → "von" → "Deutschland" → "ist" → "Berlin"

Maskierte Self-Attention

Damit das Modell beim Training nicht in die Zukunft blickt, verwendet der Decoder eine kausale Maske: Jedes Token darf nur sich selbst und vorherige Tokens betrachten. Ohne diese Maske könnte das Modell die zu lernende Antwort einfach ablesen.

Architektur-Varianten

Architektur	Aufbau	Typischer Einsatz
Encoder-only	nur Encoder	Textverständnis (z. B. BERT)
Decoder-only	nur Decoder	Textgenerierung (GPT, Claude)
Encoder-Decoder	beides	Übersetzung, Zusammenfassung (T5)

Der Erfolg der Decoder-only-Architektur liegt in ihrer Einfachheit: Ein einziges Trainingsziel – das nächste Token vorhersagen – reicht aus, um erstaunlich allgemeine Sprachfähigkeiten zu erlernen.

ANALOGIE

Der Decoder ist wie ein Autor, der einen Satz Wort für Wort schreibt: Jedes neue Wort wählt er auf Basis von allem, was er bisher geschrieben hat. Er darf dabei nicht spicken, was später kommt – er erzeugt den Text streng von links nach rechts.

WICHTIGSTE PUNKTE

Erzeugt Ausgabesequenzen autoregressiv – ein Token nach dem anderen

Nutzt maskierte Self-Attention, damit kein Token in die Zukunft blickt

Reine Decoder-Architekturen sind die Grundlage moderner LLMs wie GPT und Claude

ANWENDUNGSFÄLLE

Textgenerierung

Der Decoder produziert die Antworten von Chatbots und Schreibassistenten

Maschinelle Übersetzung

Im Encoder-Decoder-Modell erzeugt der Decoder den Zieltext aus der kodierten Eingabe

Code-Vervollständigung

Token-für-Token-Generierung von Programmcode in Tools wie Copilot

HÄUFIGE FRAGEN

Was ist der Unterschied zwischen Encoder und Decoder?

Der Encoder verarbeitet die gesamte Eingabe auf einmal und versteht sie im Kontext (alle Tokens sehen einander). Der Decoder erzeugt die Ausgabe Schritt für Schritt und darf dabei nur auf bereits erzeugte Tokens schauen – das ermöglicht die fortlaufende Textgenerierung.

Warum basieren LLMs meist nur auf Decodern?

Decoder-only-Modelle wie GPT sind hervorragend in der Textgenerierung und lassen sich einfach auf das Ziel ‚nächstes Token vorhersagen' trainieren. Diese Architektur skaliert gut und hat sich für allgemeine Sprachmodelle durchgesetzt.

Was bedeutet maskierte Self-Attention?

Im Decoder wird die Aufmerksamkeit so maskiert, dass jedes Token nur die vorherigen und sich selbst betrachten kann, nicht aber spätere. Diese Maske ist nötig, damit das Modell beim Training nicht ‚schummelt', indem es die Antwort schon kennt.

TOOLS & RESSOURCEN

Hugging Face Transformers

Implementierungen von Decoder-only- und Encoder-Decoder-Modellen

VERWANDTE BEGRIFFE

Architektur LLM

Transformer

Eine revolutionäre neuronale Netzwerk-Architektur, die auf dem Attention-Mechanismus basiert und die Grundlage für moderne Sprachmodelle wie GPT und BERT bildet.

Architektur Grundlagen

Attention Mechanism

Der Kernmechanismus moderner KI-Modelle – ermöglicht es einem Modell, sich auf die relevantesten Teile der Eingabe zu konzentrieren, statt alles gleich zu gewichten.

Grundlagen Grundlagen

Autoregressive Model

Ein Modelltyp, der Sequenzen Token für Token generiert – jedes neue Token basiert auf allen vorherigen. Ein Grundprinzip vieler moderner Sprachmodelle.

Architektur Grundlagen

Positional Encoding

Eine Technik, die Transformern die Position von Tokens in einer Sequenz mitteilt – notwendig, weil Attention allein keine Reihenfolge kennt.

LLM Grundlagen

Next-Token-Prediction

Next-Token-Prediction ist das Grundprinzip moderner Sprachmodelle: Sie sagen wiederholt das wahrscheinlichste nächste Token voraus. Aus dieser einfachen Aufgabe entstehen erstaunlich allgemeine Sprachfähigkeiten.