Tokens

Einfach erklärt

Tokens sind die Grundbausteine, mit denen Sprachmodelle Text verarbeiten. Bevor ein LLM einen Text lesen oder schreiben kann, wird der Text in Tokens zerlegt – dieser Vorgang heißt Tokenisierung.

Was ist ein Token?

Ein Token kann sein:

• Ein ganzes Wort: “Hallo” → [Hallo]
• Ein Wortteil: “unglaublich” → [un][glaub][lich]
• Ein Satzzeichen: ”!” → [!]
• Ein Leerzeichen oder Sonderzeichen

Warum sind Tokens wichtig?

1. Kosten: API-Anbieter berechnen pro Token – Input und Output separat
2. Kontextlänge: Jedes Modell hat ein maximales Token-Limit (z.B. 256K bei GPT-5, 1M bei Claude Sonnet 4.6)
3. Geschwindigkeit: Mehr Tokens = längere Verarbeitungszeit
4. Qualität: Die Tokenisierung beeinflusst, wie gut ein Modell eine Sprache versteht

Faustregel für Deutsch:

• 1 Token ≈ 0,6 - 0,8 Wörter (deutsch)
• 1 Token ≈ 0,75 Wörter (englisch)
• 1 Seite Text ≈ 500-700 Tokens
• 1.000 Tokens ≈ 600-800 deutsche Wörter

Technischer Deep Dive

Tokenisierungsverfahren

Byte Pair Encoding (BPE):

• Standard bei GPT-Modellen (via tiktoken)
• Startet mit einzelnen Bytes/Zeichen
• Mergt iterativ die häufigsten Paare zu neuen Tokens
• Vokabulargröße: typisch 32K-100K Tokens

WordPiece:

• Verwendet von BERT und ähnlichen Modellen
• Ähnlich wie BPE, aber nutzt Likelihood statt Häufigkeit für Merges
• Markiert Wortfortsetzungen mit ”##” (z.B. “spielen” → “spiel” + “##en”)

SentencePiece (Unigram):

• Verwendet von Llama, T5, Gemini
• Startet mit großem Vokabular und reduziert es
• Sprachunabhängig – arbeitet direkt auf Unicode

Tokenisierung in der Praxis

Beispiel (GPT-4 Tokenizer):

"Künstliche Intelligenz verändert die Welt"
-> ["K", "ünst", "liche", " Intell", "igenz", " ver", "ändert", " die", " Welt"]
-> 9 Tokens

Vergleich Deutsch vs. Englisch:

"Artificial Intelligence" → 2 Tokens
"Künstliche Intelligenz"  → 5 Tokens

Deutsche Texte verbrauchen ca. 30-50% mehr Tokens als englische, weil:

• Zusammengesetzte Wörter häufiger sind
• Umlaute und Sonderzeichen extra Tokens brauchen
• Tokenizer primär auf englischen Daten trainiert wurden

Spezielle Tokens

Neben Text-Tokens gibt es spezielle Steuerungs-Tokens:

• BOS (Beginning of Sequence): Markiert den Anfang
• EOS (End of Sequence): Markiert das Ende
• PAD: Füllt kürzere Sequenzen auf gleiche Länge auf
• UNK: Unbekannte Tokens (bei älteren Tokenizern)
• System/User/Assistant: Chat-Rollen-Tokens bei Instruction-Modellen

Token-Limits und Strategien

Aktuelle Kontextfenster (2026):

• GPT-5: 256K Tokens
• Claude Sonnet 4.6: 1M Tokens (Beta)
• Gemini 3 Pro: 1M Tokens
• Llama 4 Scout: 10M Tokens

Strategien bei Token-Limits:

• Zusammenfassung: Ältere Konversationsteile zusammenfassen
• RAG: Nur relevante Dokumente in den Kontext laden
• Sliding Window: Nur die letzten N Tokens behalten
• Chunking: Lange Dokumente in Teile aufteilen und separat verarbeiten

Kosten-Optimierung

• Kürzere, präzisere Prompts schreiben
• System-Prompts minimieren
• Caching für wiederkehrende Anfragen
• Kleinere Modelle für einfache Aufgaben nutzen
• Output-Tokens begrenzen (max_tokens Parameter)