Sofortantwort
Tokenisierung einfach erklärt
Text wird in kleinere Einheiten für die Verarbeitung zerlegt.
- Kurz gesagt
- Wandelt Rohtext in eine Sequenz von Token-IDs um, die das Modell verarbeiten kann
- Typischer Einsatz
- LLM-Vorverarbeitung, Kostenberechnung, Mehrsprachige Modelle
- Wichtig zu wissen
- Beeinflusst Kosten, Kontextlänge und Sprachqualität des Modells
Tokenisierung im Überblick
Tokenisierung ist der Prozess, bei dem Text in die kleinsten Einheiten zerlegt wird, die ein Sprachmodell verarbeiten kann. Ohne Tokenisierung kann kein LLM funktionieren – Modelle verstehen keine Buchstaben oder Wörter direkt, sondern nur Zahlen (Token-IDs).
Moderne Tokenizer wie BPE (Byte Pair Encoding) zerlegen Text nicht nach Wörtern, sondern nach häufigen Zeichenkombinationen. “Tokenisierung” wird zu [“Token”, “is”, “ierung”] – drei Tokens. Das hat praktische Konsequenzen: Englischer Text ist effizienter tokenisiert als Deutsch, weil Englisch kürzere Wörter hat. Code hat eigene Tokenisierungsmuster. Und Zahlen wie “12345” können als ein Token oder fünf separate Tokens kodiert werden – was erklärt, warum LLMs manchmal bei Arithmetik scheitern.
Verfahren im Vergleich:
| Verfahren | Verwendet in | Prinzip |
|---|---|---|
| BPE (Byte Pair Encoding) | GPT, Llama 4 | Häufige Zeichenpaare iterativ zusammenfassen |
| WordPiece | BERT | Ähnlich BPE, nutzt Likelihood statt Häufigkeit |
| SentencePiece | Llama 2, T5, Gemini | Sprachunabhängig, arbeitet auf Unicode |
Beispiel BPE:
"spielen" → ["spiel", "en"]
"Spielplatz" → ["Spiel", "platz"]
"unspielbar" → ["un", "spiel", "bar"]Technisch betrachtet
BPE-Algorithmus
- Starte mit einzelnen Bytes/Zeichen als Vokabular
- Zähle alle benachbarten Paare im Trainingskorpus
- Merge das häufigste Paar zu einem neuen Token
- Wiederhole bis gewünschte Vokabulargröße erreicht (z.B. 100.000)
Tokenizer-Training
Der Tokenizer wird separat vom Modell auf einem Textkorpus trainiert. Die Wahl des Trainingskorpus beeinflusst:
- Welche Sprachen effizient tokenisiert werden
- Wie gut Fachbegriffe und Code verarbeitet werden
- Die Gesamteffizienz (Tokens pro Wort)
Spezielle Herausforderungen
- Zahlen: “123456” kann als ein oder mehrere Tokens dargestellt werden
- Code: Einrückungen und Sonderzeichen brauchen spezielle Behandlung
- Emoji: Können mehrere Tokens verbrauchen
- Seltene Sprachen: Werden oft zeichenweise tokenisiert (sehr ineffizient)
Schritt für Schritt
Wie Tokenisierung eine Modellaufgabe prägt
Eingabe und Modellgrenze einordnen
Kläre, welche Sprache, Zeichen, Fachbegriffe und Eingabelängen im Einsatz vorkommen. Modelle verarbeiten keine Wörter direkt, sondern Token; dieselbe Textmenge kann je nach Sprache und Darstellung sehr unterschiedlich groß sein.
Kontext bewusst budgetieren
Plane, welcher Anteil des verfügbaren Kontexts für Anweisung, Quellen, Verlauf und erwartete Antwort gebraucht wird. Ein zu voller Kontext lässt wichtige Information verschwinden oder erhöht Kosten und Latenz unnötig.
Sonderfälle prüfen
Teste Namen, Zahlen, Code, Tabellen, mehrsprachige Inhalte und ungewöhnliche Zeichen. Gerade in fachlichen oder strukturierten Daten können unerwartete Aufteilungen Verständnis und nachgelagerte Verarbeitung beeinflussen.
Kosten und Qualität gemeinsam beobachten
Bewerte Tokenverbrauch zusammen mit Antwortqualität und tatsächlichem Nutzen. Kürzen, Zusammenfassen oder Retrieval sind nur dann sinnvoll, wenn relevante Bedeutung und notwendige Belege erhalten bleiben.
Konkretes Beispiel
Ein langer Bericht passt in einen hilfreichen Kontext
Ein Team möchte einen umfangreichen Bericht mit einem Modell analysieren. Neben dem Quelltext sollen auch Arbeitsanweisung und eine begründete Antwort in das Kontextfenster passen.
Ungeplante Eingabe
Der Bericht wird vollständig eingefügt, doch der Kontext ist fast ausgeschöpft. Das System kürzt wichtige Stellen oder lässt kaum Raum für Antwort und Quellen, während Kosten und Laufzeit stark steigen.
Bewusstes Budget
Das Team zerlegt den Bericht nach sinnvollen Abschnitten, ruft nur relevante Teile ab und reserviert Platz für klare Antwort und Belege. Tests prüfen, ob zentrale Aussagen trotz der Reduktion erhalten bleiben.
Einordnung
Vorteile und Grenzen
Das spricht dafür
- Macht sichtbar, wie Modelle Text technisch verarbeiten und Kontextgrenzen einhalten.
- Unterstützt eine bewusste Planung von Kosten, Latenz und verfügbarer Information.
- Deckt Sonderfälle auf, die bei Sprache, Code oder strukturierten Daten Qualität beeinflussen.
Das solltest du beachten
- Tokens entsprechen nicht zuverlässig Wörtern oder vollständigen Bedeutungen für Menschen.
- Kürzen nach Tokenzahl kann wichtige Einschränkungen und Belege unbemerkt entfernen.
- Tokenoptimierung allein verbessert weder Faktenqualität noch eine unklare Modellaufgabe.
Vertiefung · für FortgeschritteneVom Text zum begrenzten Modellkontext
Verarbeitbare Einheiten
- Kontextfenster
- Maximale Textmenge, die ein Sprachmodell verarbeiten kann.
- Context Compression
- Komprimierung von Kontext, um mehr Informationen ins Kontextfenster zu packen.
- RAG
- Kombination von LLMs mit externen Wissensdatenbanken für Genauigkeit.
- Chunking & Reranking
- Techniken zur Strukturierung und Sortierung von Dokumenten.
- Latency vs. Throughput
- Latenz = wie schnell eine Anfrage. Throughput = wie viele Anfragen pro Zeit.