Large Language Model (LLM)

Large Language Model im Überblick

Ein Large Language Model (LLM) ist ein auf riesigen Textmengen vortrainiertes neuronales Netz, das menschliche Sprache versteht und generiert. “Large” bezieht sich auf die Anzahl der Parameter – von Milliarden bis Billionen – und die Menge der Trainingsdaten. LLMs sind die Technologie hinter ChatGPT, Claude, Gemini und Co. Was sie von früheren Sprachmodellen unterscheidet: Sie zeigen emergente Fähigkeiten – Reasoning, Code-Generierung, Übersetzung – die nicht explizit trainiert wurden, sondern aus der schieren Größe entstehen.

Ein Large Language Model (LLM) ist ein KI-System, das darauf trainiert wurde, menschliche Sprache zu verstehen und zu generieren. “Large” bedeutet dabei wirklich groß – diese Modelle haben Milliarden von Parametern und wurden auf riesigen Textmengen trainiert.

Was macht ein LLM besonders?

• Vielseitigkeit: Ein einziges Modell kann übersetzen, zusammenfassen, programmieren, kreativ schreiben und vieles mehr
• Kontextverständnis: Es erkennt Zusammenhänge über mehrere Sätze oder sogar Absätze hinweg
• Few-Shot Learning: Es kann neue Aufgaben mit nur wenigen Beispielen lernen
• Natürliche Interaktion: Die Kommunikation erfolgt in normaler menschlicher Sprache

Wichtig zu verstehen: LLMs “wissen” nichts im klassischen Sinne. Sie haben statistische Muster aus ihren Trainingsdaten gelernt und können daraus plausible Antworten generieren – manchmal auch falsche (sogenannte “Halluzinationen”).

Technisch betrachtet

Architektur

LLMs basieren auf der Transformer-Architektur (Vaswani et al., 2017), die auf dem Attention-Mechanismus aufbaut. Die Kernkomponenten sind:

1. Tokenisierung

• Text wird in Tokens zerlegt (Wörter, Wortteile oder Zeichen)
• Jedes Token wird in einen hochdimensionalen Vektor umgewandelt (Embedding)
• Typische Vokabulargröße: 32.000 - 100.000 Tokens

2. Transformer-Blöcke

• Bestehen aus Multi-Head Self-Attention und Feed-Forward Netzwerken
• Moderne LLMs haben 32-96+ solcher Blöcke gestapelt
• Jeder Block verarbeitet die Eingabe und gibt sie an den nächsten weiter

3. Attention-Mechanismus

• Ermöglicht dem Modell, relevante Teile der Eingabe zu fokussieren
• Berechnet Beziehungen zwischen allen Tokens im Kontext
• Skaliert quadratisch mit der Kontextlänge (Hauptlimitierung)

Training

Phase 1: Pre-Training (Unsupervised)

• Trainiert auf Billionen von Tokens aus dem Internet
• Ziel: Vorhersage des nächsten Tokens (Next Token Prediction)
• Dauer: Wochen bis Monate auf Tausenden von GPUs
• Kosten: Millionen bis Hunderte Millionen Dollar

Phase 2: Fine-Tuning (Supervised)

• Anpassung auf spezifische Aufgaben mit kuratierten Datensätzen
• Instruction Tuning: Lernen, Anweisungen zu folgen
• RLHF (Reinforcement Learning from Human Feedback): Ausrichtung auf menschliche Präferenzen

Skalierungsgesetze

Die Skalierungsgesetze beschreiben, wie die Leistung eines LLMs mit drei Faktoren wächst:

• Modellgröße (Anzahl Parameter)
• Datenmenge (Training Tokens)
• Rechenleistung (FLOPs)

Emergente Fähigkeiten: Ab einer bestimmten Größe (ca. 10B+ Parameter) zeigen LLMs plötzlich neue Fähigkeiten wie:

• Chain-of-Thought Reasoning
• In-Context Learning
• Mehrsprachige Übersetzung ohne explizites Training

Technische Herausforderungen

Kontextfenster

• Begrenzt die Menge an Text, die das Modell gleichzeitig verarbeiten kann
• Moderne Modelle: 256K - 10M Tokens
• Längere Kontexte = exponentiell höhere Rechenkosten

Inferenz-Kosten

• Jede Antwort erfordert Milliarden von Berechnungen
• Optimierungen: Quantisierung, KV-Cache, Speculative Decoding
• Trade-off zwischen Geschwindigkeit und Qualität

Halluzinationen

• Modelle generieren plausibel klingende, aber falsche Informationen
• Ursache: Statistische Muster statt echtes Verständnis
• Lösungsansätze: RAG, Fact-Checking, Confidence Scores