Embeddings

Embeddings im Überblick

Embeddings sind numerische Vektoren, die die Bedeutung von Text, Bildern oder anderen Daten in einem hochdimensionalen Raum repräsentieren. Sie sind das Herzstück moderner KI: Semantische Suche, RAG-Systeme, Empfehlungsalgorithmen und Klassifikatoren basieren alle auf Embeddings. Das Entscheidende: Ähnliche Konzepte haben ähnliche Vektoren – “König” und “Königin” liegen näher beieinander als “König” und “Fahrrad”.

Embeddings sind eine Methode, um Text (oder andere Daten) in Zahlen umzuwandeln, die ein Computer verarbeiten kann – und zwar so, dass die Bedeutung erhalten bleibt.

Warum braucht man Embeddings?

Computer können nicht direkt mit Wörtern rechnen. Embeddings lösen dieses Problem, indem sie jedes Wort oder jeden Text in eine Liste von Zahlen (einen Vektor) umwandeln. Das Besondere: Ähnliche Bedeutungen ergeben ähnliche Zahlen.

Beispiel:

"König"  → [0.2, 0.8, 0.1, ...]
"Königin" → [0.3, 0.7, 0.1, ...]  ← ähnlich!
"Auto"   → [0.9, 0.1, 0.6, ...]  ← ganz anders

Praktische Anwendungen:

• Semantische Suche: Du suchst nach “Wie kündige ich meinen Vertrag?” und findest auch Dokumente über “Vertragsauflösung” und “Kündigung einreichen”
• Ähnliche Inhalte: “Kunden, die das kauften, kauften auch…”
• RAG: Die relevantesten Dokumente für eine LLM-Anfrage finden

Technisch betrachtet

Wie Embeddings entstehen

Word Embeddings (klassisch):

• Word2Vec (2013): Trainiert auf Wort-Kontext-Paaren, lernt Wort-Vektoren
• GloVe: Nutzt globale Wort-Kookkurrenz-Statistiken
• Limitierung: Ein Vektor pro Wort, unabhängig vom Kontext

Kontextuelle Embeddings (modern):

• BERT-basiert: Jedes Wort bekommt einen kontextabhängigen Vektor
• “Bank” hat unterschiedliche Vektoren in “Ich sitze auf der Bank” vs. “Ich gehe zur Bank”
• Transformer-basierte Modelle erzeugen kontextuelle Embeddings

Sentence/Document Embeddings:

• Ganze Sätze oder Dokumente werden in einen einzelnen Vektor komprimiert
• Modelle: Sentence-BERT, OpenAI text-embedding-3, Cohere Embed
• Typische Dimensionen: 384 - 3072

Mathematische Grundlagen

Vektorraum-Eigenschaften:

• Embeddings leben in einem hochdimensionalen Raum (z.B. 1536D)
• Semantische Beziehungen werden als geometrische Beziehungen abgebildet
• Berühmtes Beispiel: König - Mann + Frau ≈ Königin

Ähnlichkeitsmetriken:

Eingabeformat und Modellauswahl

Für die Dokumentsuche müssen Frage und Passage im selben Vektorraum vergleichbar sein. Manche Modelle unterscheiden dabei die Eingaberollen. Multilingual E5 erwartet bei Retrieval das Präfix query: für die Suchanfrage und passage: für den indexierten Text, auch bei deutschen Inhalten.

Beispiel mit Sentence Transformers. Installiere sentence-transformers. Beim ersten Lauf lädt die Bibliothek die Modellgewichte.

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("intfloat/multilingual-e5-base")
passages = [
    "Ungeöffnete Artikel können innerhalb von 30 Tagen zurückgegeben werden.",
    "Die Sendungsnummer wird nach dem Versand per E-Mail verschickt.",
]
documents = model.encode(
    [f"passage: {text}" for text in passages], normalize_embeddings=True
)
query = model.encode(
    "query: Wie lange kann ich einen Artikel zurückgeben?",
    normalize_embeddings=True,
)
scores = documents @ query
for index in scores.argsort()[::-1]:
    print(f"{scores[index]:.3f}  {passages[index]}")

Das Skalarprodukt der normalisierten Vektoren entspricht der Kosinusähnlichkeit. Für die Modellauswahl prüfst du Sprache, Eingabelimit, Lizenz, Betriebskosten und Trefferqualität anhand eigener Fragen.

Embeddings in der Praxis

Chunking-Strategien für Dokumente:

• Fixed Size: Feste Zeichenanzahl (einfach, aber kann Kontext brechen)
• Sentence-based: An Satzgrenzen aufteilen
• Semantic: Thematisch zusammenhängende Abschnitte
• Recursive: Hierarchisches Aufteilen mit Overlap

Optimierung:

• Dimensionsreduktion: PCA oder Matryoshka für kleinere Vektoren
• Quantisierung: Kompaktere Vektoren können Speicher sparen. Miss die Auswirkungen auf Trefferqualität und Speicherverbrauch des gesamten Index.
• Batch-Processing: Viele Texte gleichzeitig embedden
• Caching und Modellwechsel: Modellversion, Dimension und Vorverarbeitung mitführen. Wenn sich der Vektorraum ändert, berechne die Dokumentvektoren neu und stelle Index und Anfragekodierung gemeinsam um.

Evaluation:

• MTEB Benchmark: Standardisierter Vergleich von Embedding-Modellen
• Retrieval-Metriken: Recall@k, MRR, NDCG
• Clustering-Metriken: Silhouette Score, V-Measure