Tokenisierung

Einfach erklärt

Tokenisierung ist der Prozess, bei dem Text in die kleinsten Einheiten zerlegt wird, die ein Sprachmodell verarbeiten kann. Ohne Tokenisierung kann kein LLM funktionieren – Modelle verstehen keine Buchstaben oder Wörter direkt, sondern nur Zahlen (Token-IDs).

Moderne Tokenizer wie BPE (Byte Pair Encoding) zerlegen Text nicht nach Wörtern, sondern nach häufigen Zeichenkombinationen. “Tokenisierung” wird zu [“Token”, “is”, “ierung”] – drei Tokens. Das hat praktische Konsequenzen: Englischer Text ist effizienter tokenisiert als Deutsch, weil Englisch kürzere Wörter hat. Code hat eigene Tokenisierungsmuster. Und Zahlen wie “12345” können als ein Token oder fünf separate Tokens kodiert werden – was erklärt, warum LLMs manchmal bei Arithmetik scheitern.

Verfahren im Vergleich:

Verfahren	Verwendet in	Prinzip
BPE (Byte Pair Encoding)	GPT, Llama 4	Häufige Zeichenpaare iterativ zusammenfassen
WordPiece	BERT	Ähnlich BPE, nutzt Likelihood statt Häufigkeit
SentencePiece	Llama 2, T5, Gemini	Sprachunabhängig, arbeitet auf Unicode

Beispiel BPE:

"spielen" → ["spiel", "en"]
"Spielplatz" → ["Spiel", "platz"]
"unspielbar" → ["un", "spiel", "bar"]

Technischer Deep Dive

BPE-Algorithmus

1. Starte mit einzelnen Bytes/Zeichen als Vokabular
2. Zähle alle benachbarten Paare im Trainingskorpus
3. Merge das häufigste Paar zu einem neuen Token
4. Wiederhole bis gewünschte Vokabulargröße erreicht (z.B. 100.000)

Tokenizer-Training

Der Tokenizer wird separat vom Modell auf einem Textkorpus trainiert. Die Wahl des Trainingskorpus beeinflusst:

• Welche Sprachen effizient tokenisiert werden
• Wie gut Fachbegriffe und Code verarbeitet werden
• Die Gesamteffizienz (Tokens pro Wort)

Spezielle Herausforderungen

• Zahlen: “123456” kann als ein oder mehrere Tokens dargestellt werden
• Code: Einrückungen und Sonderzeichen brauchen spezielle Behandlung
• Emoji: Können mehrere Tokens verbrauchen
• Seltene Sprachen: Werden oft zeichenweise tokenisiert (sehr ineffizient)