LLM Grundlagen
Large Language Model (LLM)
Ein KI-Modell, das auf riesigen Textmengen trainiert wurde und menschenähnliche Sprache verstehen und generieren kann.
Einfach erklärt
Der Transformer ist eine Architektur für neuronale Netze, die 2017 von Google-Forschern vorgestellt wurde. Er hat die KI-Welt revolutioniert und ist die Grundlage für praktisch alle modernen Sprachmodelle.
Was macht den Transformer besonders?
Vor dem Transformer wurden Texte Wort für Wort verarbeitet (sequenziell). Das war langsam und machte es schwer, Zusammenhänge über lange Distanzen zu erkennen. Der Transformer löst beide Probleme:
- Parallele Verarbeitung: Alle Wörter eines Satzes werden gleichzeitig verarbeitet
- Self-Attention: Jedes Wort kann direkt auf jedes andere Wort “achten”
Ein Beispiel:
Im Satz “Die Katze, die auf dem Dach saß, sprang herunter” muss das Modell verstehen, dass “sprang” sich auf “Katze” bezieht, nicht auf “Dach”. Der Attention-Mechanismus erkennt diese Verbindung direkt, auch über mehrere Wörter hinweg.
Die zwei Transformer-Varianten:
| Variante | Funktionsweise | Beispiele |
|---|---|---|
| Encoder | Versteht und analysiert Text | BERT, RoBERTa |
| Decoder | Generiert Text Token für Token | GPT, Llama, Gemini |
| Encoder-Decoder | Versteht Eingabe und generiert Ausgabe | T5, BART, Original-Transformer |
Moderne LLMs wie GPT-5 und Llama 4 nutzen die Decoder-Variante: Sie sagen immer das nächste Token vorher, basierend auf allem, was davor kam.
Technischer Deep Dive
Die Architektur im Detail
Der Original-Transformer (Vaswani et al., 2017) besteht aus einem Encoder und einem Decoder, jeweils mit N gestapelten Blöcken.
Jeder Block enthält:
- Multi-Head Self-Attention
- Feed-Forward Network (zwei lineare Schichten mit Aktivierung)
- Layer Normalization und Residual Connections
Self-Attention-Mechanismus
Der Kern des Transformers. Für jedes Token werden drei Vektoren berechnet:
- Query (Q): “Wonach suche ich?”
- Key (K): “Was biete ich an?”
- Value (V): “Welche Information trage ich?”
Berechnung:
Attention(Q, K, V) = softmax(QK^T / √d_k) * V- QK^T berechnet die Ähnlichkeit zwischen allen Token-Paaren
- √d_k skaliert die Werte, um stabile Gradienten zu gewährleisten
- Softmax normalisiert zu Wahrscheinlichkeiten
- Multiplikation mit V gewichtet die Informationen
Multi-Head Attention
Statt einer einzelnen Attention werden mehrere “Heads” parallel berechnet:
- Jeder Head lernt andere Beziehungen (Syntax, Semantik, Koreferenz)
- Typisch: 8-128 Heads
- Ergebnisse werden konkateniert und linear projiziert
Positional Encoding
Da Transformer keine inhärente Reihenfolge kennen (anders als RNNs), wird die Position jedes Tokens explizit kodiert:
Sinusoidales Encoding (Original):
- Feste mathematische Funktion basierend auf Sinus und Cosinus
- Kann theoretisch auf beliebige Längen generalisieren
Rotary Position Embedding (RoPE):
- Moderner Standard in LLMs (Llama, Mistral)
- Kodiert relative Positionen durch Rotation der Q/K-Vektoren
- Bessere Generalisierung auf längere Kontexte
Optimierungen für die Praxis
FlashAttention:
- Reduziert Memory-Zugriffe durch Tiling-Algorithmus
- 2-4x schneller als naive Attention-Implementierung
- Standard in modernen Training-Pipelines
- Speichert Key/Value-Vektoren vorheriger Tokens bei der Generierung
- Vermeidet redundante Berechnungen
- Trade-off: Mehr Speicher, aber deutlich schnellere Inferenz
Grouped Query Attention (GQA):
- Mehrere Query-Heads teilen sich Key/Value-Heads
- Reduziert KV-Cache-Größe erheblich
- Verwendet in Llama 2/3, Mistral
- Nicht jedes Token achtet auf jedes andere
- Reduziert Komplexität von O(n²) auf O(n√n) oder O(n log n)
- Ermöglicht längere Kontextfenster
Skalierung
Moderne Transformer-Modelle skalieren auf drei Achsen:
- Breite: Dimension der Embeddings (d_model: 768 - 12288+)
- Tiefe: Anzahl der Blöcke (12 - 96+)
- Heads: Anzahl der Attention-Heads (12 - 128+)
Die Skalierungsgesetze (Chinchilla, 2022) zeigen: Für optimale Performance sollte die Datenmenge proportional zur Modellgröße skaliert werden – ca. 20 Tokens pro Parameter.