Word2Vec / GloVe

Einfach erklärt

Word2Vec war eine Revolution: Zum ersten Mal konnten Computer die Bedeutung von Wörtern als Zahlen darstellen – und mit diesen Zahlen rechnen.

Die Grundidee:

Jedes Wort bekommt einen Vektor (eine Liste von Zahlen). Wörter mit ähnlicher Bedeutung haben ähnliche Vektoren. Das ermöglicht etwas Erstaunliches:

Das berühmte Beispiel:

vec("König") - vec("Mann") + vec("Frau") ≈ vec("Königin")
vec("Paris") - vec("Frankreich") + vec("Deutschland") ≈ vec("Berlin")

Der Computer “versteht” nicht wirklich – aber er hat gelernt, dass König zu Mann steht wie Königin zu Frau.

Warum ist das heute noch relevant?

Word2Vec ist der Großvater moderner Embeddings. Die Konzepte (Vektorräume, Ähnlichkeit, Analogien) sind die Grundlage für alles, was danach kam – von BERT bis GPT.

Limitierung: Word2Vec gibt jedem Wort nur einen Vektor. “Bank” (Sitzbank) und “Bank” (Geldinstitut) haben denselben Vektor. Moderne Modelle wie BERT lösen das mit kontextabhängigen Embeddings.

Technischer Deep Dive

Word2Vec (Google, 2013)

Zwei Architekturen:

• CBOW (Continuous Bag of Words): Vorhersage des Zielworts aus dem Kontext
• Skip-gram: Vorhersage des Kontexts aus dem Zielwort

Skip-gram Beispiel:
Satz: "Die Katze sitzt auf der Matte"
Input: "sitzt" → Vorhersage: ["Katze", "auf"]

GloVe (Stanford, 2014)

• Nutzt globale Kookkurrenz-Matrix (wie oft erscheinen Wörter zusammen?)
• Kombiniert lokalen Kontext (wie Word2Vec) mit globaler Statistik
• Oft leicht bessere Ergebnisse als Word2Vec

Limitierungen

• Statische Vektoren: Ein Vektor pro Wort, unabhängig vom Kontext
• Out-of-Vocabulary: Unbekannte Wörter haben keinen Vektor
• Keine Satzebene: Nur Wort-Embeddings, keine Satz-Embeddings

Evolution

Word2Vec/GloVe (2013-14) → ELMo (2018) → BERT (2018) → GPT (2018+)
Statisch              → Kontextuell  → Bidirektional → Generativ