Trainingsdaten

Trainingsdaten im Überblick

Trainingsdaten sind die Informationen, aus denen ein KI-Modell lernt. So wie ein Mensch aus Erfahrungen und Büchern lernt, lernt eine KI aus den Daten, die ihr zum Training gegeben werden. Die Qualität und Quantität der Trainingsdaten ist oft wichtiger als die Wahl des Modells oder der Architektur. Ein einfaches Modell mit exzellenten Daten schlägt regelmäßig ein komplexes Modell mit schlechten Daten. Das Sammeln, Bereinigen und Annotieren von Trainingsdaten ist deshalb oft der aufwändigste Teil eines KI-Projekts. Für Foundation Models wurden Billionen von Tokens aus dem Internet gesammelt. Für spezialisierte Anwendungen reichen oft wenige tausend hochwertiger Beispiele – wenn sie sorgfältig kuratiert und gelabelt sind. Datenschutz und Urheberrecht sind dabei wichtige rechtliche Rahmenbedingungen.

Warum sind Trainingsdaten so wichtig?

• Garbage In, Garbage Out: Schlechte Daten = schlechtes Modell
• Bias: Einseitige Daten führen zu einseitigen Ergebnissen
• Abdeckung: Das Modell kann nur lernen, was in den Daten vorkommt
• Aktualität: Veraltete Daten führen zu veralteten Antworten

Arten von Trainingsdaten:

Für LLMs:

Moderne LLMs werden auf riesigen Textmengen trainiert:

• GPT-5: Geschätzt 13+ Billionen Tokens
• Llama 4: 15+ Billionen Tokens
• Das entspricht Millionen von Büchern

Technisch betrachtet

Datenquellen für LLMs

Web-Daten:

• Common Crawl: Petabytes an Webseiten
• Filterung nötig: Spam, Duplikate, toxische Inhalte entfernen
• Qualitätsfilter: Perplexity-basiert, Classifier-basiert

Kuratierte Quellen:

• Wikipedia: Hohe Qualität, aber begrenzt
• Bücher: Project Gutenberg, Books3 (rechtlich umstritten)
• Wissenschaftliche Paper: ArXiv, PubMed, Semantic Scholar
• Code: GitHub, Stack Overflow

Synthetische Daten:

• Von stärkeren Modellen generierte Trainingsdaten
• Beispiel: GPT-5 generiert Instruction-Daten für kleinere Modelle
• Vorsicht: “Model Collapse” bei zu vielen synthetischen Daten

Datenaufbereitung

1. Sammlung und Filterung:

• Deduplizierung (MinHash, SimHash)
• Qualitätsfilterung (Perplexity, Textlänge, Sprache)
• Toxizitätsfilterung (Classifier-basiert)
• PII-Entfernung (persönliche Daten)

2. Tokenisierung:

• Text in Tokens umwandeln
• Tokenizer auf dem Datensatz trainieren (BPE, SentencePiece)
• Spezielle Tokens hinzufügen (BOS, EOS, PAD)

3. Datenmischung:

• Verschiedene Quellen in bestimmten Verhältnissen mischen
• Beispiel: 50% Web, 25% Bücher, 15% Code, 10% Wissenschaft
• Die Mischung beeinflusst die Stärken des Modells

Datenqualität vs. Quantität

Datenqualität schlägt Menge – dafür stehen zwei bekannte Beispiele:

Phi-Modelle (Microsoft):

• Kleine Modelle (1.3B-14B Parameter) mit hochwertigen Daten
• Konkurrieren mit deutlich größeren Modellen
• “Textbook-quality” Daten als Schlüssel

LIMA-Paper:

• Nur 1.000 sorgfältig kuratierte Beispiele für Fine-Tuning
• Ergebnisse vergleichbar mit RLHF auf großen Datensätzen
• “Less Is More for Alignment”

Bias und Fairness

Quellen von Bias:

• Repräsentations-Bias: Bestimmte Gruppen sind über-/unterrepräsentiert
• Historischer Bias: Daten spiegeln historische Ungleichheiten wider
• Measurement Bias: Fehlerhafte Datenerhebung
• Aggregation Bias: Unterschiede zwischen Subgruppen werden ignoriert

Gegenmaßnahmen:

• Diverse und repräsentative Datensätze zusammenstellen
• Bias-Audits vor und nach dem Training
• Debiasing-Techniken (Counterfactual Data Augmentation)
• Transparenz über Datenquellen und -zusammensetzung

Rechtliche Aspekte

• Urheberrecht: Nutzung urheberrechtlich geschützter Texte für Training ist rechtlich umstritten
• DSGVO: Personenbezogene Daten in Trainingsdaten sind problematisch
• Opt-Out: Einige Anbieter bieten Opt-Out-Möglichkeiten für Webseitenbetreiber
• Transparenz: EU AI Act fordert Offenlegung der Trainingsdaten für bestimmte Modelle