Sofortantwort
Word2Vec / GloVe einfach erklärt
Verfahren zur Vektorisierung von Wörtern in der KI.
- Kurz gesagt
- Word2Vec: Lernt Wort-Vektoren aus dem Kontext (CBOW oder Skip-gram)
- Typischer Einsatz
- Wort-Analogien, Ähnlichkeitssuche, Feature Input
- Wichtig zu wissen
- Historisch wichtig, heute durch kontextuelle Embeddings (BERT, GPT) weitgehend abgelöst
Word2Vec / GloVe im Überblick
Word2Vec war eine Revolution: Zum ersten Mal konnten Computer die Bedeutung von Wörtern als Zahlen darstellen – und mit diesen Zahlen rechnen.
Die Grundidee:
Jedes Wort bekommt einen Vektor (eine Liste von Zahlen). Wörter mit ähnlicher Bedeutung haben ähnliche Vektoren. Das ermöglicht etwas Erstaunliches:
Das berühmte Beispiel:
vec("König") - vec("Mann") + vec("Frau") ≈ vec("Königin")
vec("Paris") - vec("Frankreich") + vec("Deutschland") ≈ vec("Berlin")Der Computer “versteht” nicht wirklich – aber er hat gelernt, dass König zu Mann steht wie Königin zu Frau.
Warum ist das heute noch relevant?
Word2Vec ist der Großvater moderner Embeddings. Die Konzepte (Vektorräume, Ähnlichkeit, Analogien) sind die Grundlage für alles, was danach kam – von BERT bis GPT.
Limitierung: Word2Vec gibt jedem Wort nur einen Vektor. “Bank” (Sitzbank) und “Bank” (Geldinstitut) haben denselben Vektor. Moderne Modelle wie BERT lösen das mit kontextabhängigen Embeddings.
Technisch betrachtet
Word2Vec (Google, 2013)
Zwei Architekturen:
- CBOW (Continuous Bag of Words): Vorhersage des Zielworts aus dem Kontext
- Skip-gram: Vorhersage des Kontexts aus dem Zielwort
Skip-gram Beispiel:
Satz: "Die Katze sitzt auf der Matte"
Input: "sitzt" → Vorhersage: ["Katze", "auf"]GloVe (Stanford, 2014)
- Nutzt globale Kookkurrenz-Matrix (wie oft erscheinen Wörter zusammen?)
- Kombiniert lokalen Kontext (wie Word2Vec) mit globaler Statistik
- Oft leicht bessere Ergebnisse als Word2Vec
Limitierungen
- Statische Vektoren: Ein Vektor pro Wort, unabhängig vom Kontext
- Out-of-Vocabulary: Unbekannte Wörter haben keinen Vektor
- Keine Satzebene: Nur Wort-Embeddings, keine Satz-Embeddings
Evolution
Word2Vec/GloVe (2013-14) → ELMo (2018) → BERT (2018) → GPT (2018+)
Statisch → Kontextuell → Bidirektional → Generativ