Sofortantwort
Pre-Training einfach erklärt
Erste Trainingsphase, in der ein Modell grundlegende Fähigkeiten erlernt.
- Kurz gesagt
- Trainiert auf Billionen von Tokens aus dem Internet, Büchern, Code etc.
- Typischer Einsatz
- Foundation Models, Domain-spezifische Modelle, Multimodale Modelle
- Wichtig zu wissen
- Kostet Millionen Dollar und dauert Wochen auf tausenden GPUs
Pre-Training im Überblick
Pre-Training ist die erste und wichtigste Phase beim Training eines Sprachmodells. Das Modell liest Milliarden von Texten und lernt dabei, das nächste Wort vorherzusagen.
Die Trainingsphasen eines modernen LLMs:
1. Pre-Training → Allgemeines Wissen (Billionen Tokens)
2. Supervised FT → Instruktionen befolgen (Tausende Beispiele)
3. RLHF / DPO → Menschliche Präferenzen lernen
4. Safety Training → Schädliche Ausgaben vermeidenWas das Modell im Pre-Training lernt:
- Grammatik und Sprachstruktur
- Faktenwissen über die Welt
- Logische Zusammenhänge und Reasoning-Ansätze
- Code-Syntax und Programmierkonzepte
- Mehrsprachige Fähigkeiten
Technisch betrachtet
Training Objective
Die meisten LLMs nutzen Causal Language Modeling (Next Token Prediction):
Eingabe: "Die Katze sitzt auf dem"
Ziel: "Katze sitzt auf dem Dach"
Loss = -log P("Dach" | "Die Katze sitzt auf dem")Das Modell minimiert den Loss über Billionen solcher Vorhersagen.
Woraus Pre-Training-Daten bestehen
Die meisten Anbieter veröffentlichen ihre Mischung nicht. Wo sie veröffentlicht ist, lässt sie sich nachlesen – hier die von LLaMA, weil es eine der wenigen vollständig dokumentierten ist:
| Quelle | Anteil | Was das ist |
|---|---|---|
| English CommonCrawl | 67 % | gefilterte Webseiten aus fünf Crawls |
| C4 | 15 % | ein weiterer, anders aufbereiteter Web-Korpus |
| GitHub | 4,5 % | quelloffener Code |
| Wikipedia | 4,5 % | 20 Sprachen |
| Gutenberg und Books3 | 4,5 % | Bücher |
| ArXiv | 2,5 % | wissenschaftliche Arbeiten |
| Stack Exchange | 2 % | Fragen und Antworten |
Vier von fünf Tokens kommen also aus dem Web. Bei anderen Modellen sieht die Mischung anders aus – die Größenordnung „Web dominiert, alles andere ergänzt” gilt aber überall dort, wo Zahlen bekannt sind.
Scaling Laws
Pre-Training folgt vorhersagbaren Scaling Laws (Chinchilla):
Optimale Tokens ≈ 20 × Parameter
7B-Modell → ~140B Tokens
70B-Modell → ~1.4T TokensMehr Daten und mehr Parameter → bessere Leistung, aber mit abnehmenden Erträgen.
