Sofortantwort
Chunking & Reranking einfach erklärt
Dokumente in Suchabschnitte teilen und gefundene Abschnitte neu ordnen.
- Kurz gesagt
- Chunking: Abschnitte nach Dokumentstruktur, Fragearten und Modellgrenzen wählen
- Typischer Einsatz
- Dokumenten-QA, Knowledge Base, Code-Suche
- Wichtig zu wissen
- Suchabdeckung und Reihenfolge der Treffer getrennt prüfen
Chunking & Reranking im Überblick
Chunking bestimmt, welche Textabschnitte als Einheiten gesucht und zitiert werden. Bei einem Handbuch kann ein Abschnitt mit einer vollständigen Anleitung nützlicher sein als ein willkürlicher Ausschnitt mitten in einem Schritt.
Reranking setzt nach der ersten Suche an. Ein Cross-Encoder erhält die Frage und jeden Kandidaten als Paar und bewertet deren Relevanz. So kann er etwa eine Regel für Auslandsreisen höher einstufen als einen allgemeinen Hotelabschnitt. Für Quellenangaben behält die Anwendung Abschnitts-ID und Dokumentverweis.
Technisch betrachtet
Chunking-Strategien
- Feste Größe teilt nach Zeichen oder Tokens. Überlappung kann Kontext an Grenzen erhalten und zugleich doppelte Treffer erzeugen.
- Rekursiv versucht zuerst gröbere Trennzeichen wie Absatzumbrüche und weicht bei langen Abschnitten auf feinere Grenzen aus.
- Semantic: Chunks an thematischen Übergängen trennen
- Document-Aware: Markdown-Headings, Code-Funktionen als Grenzen
Suche und Reranking getrennt testen
Wenn wichtige Passagen schon in der Kandidatenliste fehlen, prüfe Chunkgrenzen, Indexierung und Suchverfahren. Wenn sie vorhanden sind, aber häufig zu weit unten stehen, teste Reranking auf derselben Kandidatenliste. Vergleiche relevante Treffer auf den ersten Plätzen, Quellenbelege in der Antwort und Laufzeit. Lege erst dann fest, wie viele Kandidaten bewertet werden und wie viel Kontext an das Sprachmodell geht.
Schritt für Schritt
Vom Dokument zu den besten Kontextstellen
Chunking legt fest, welche Abschnitte auffindbar sind. Ein Reranker ändert anschließend die Reihenfolge der gefundenen Kandidaten.
Struktur erkennen und teilen
Chunking
Überschriften, Absätze und Satzgrenzen helfen, in sich verständliche Abschnitte statt beliebiger Textstücke zu bilden.
Dokument → zusammenhängende AbschnitteAbschnitte indexieren
Index
Jeder Chunk erhält ein Embedding und Metadaten wie Quelle, Kapitel, Datum oder Berechtigung.
Chunk + Metadaten → VektorindexBreit suchen
Recall
Die Anfrage holt zunächst mehrere semantisch passende Kandidaten aus dem Index.
Frage → KandidatenlisteTreffer nachordnen
Precision
Ein Cross-Encoder bewertet Frage und Chunk gemeinsam. Aus der neuen Reihenfolge wählst du Passagen für das verfügbare Kontextbudget aus.
Kandidaten → neues Ranking → Kontext
Konkretes Beispiel
Beispiel: Eine lange Reiserichtlinie
Eine Mitarbeiterin fragt nach der erlaubten Hotelkategorie bei einer internationalen Reise.
Nur grobe Abschnitte
Ein großer Chunk enthält Regeln zu Flügen, Hotels, Spesen und Freigaben. Die Antwort muss irrelevante Inhalte auseinanderhalten.
Strukturierte Suche mit Reranking
Die Suche findet Abschnitte zu Inlands- und Auslandsreisen. Der Reranker kann die Auslandsregel höher einstufen. Der gespeicherte Quellenverweis bleibt am Chunk.
Die richtige Passage muss zuerst gefunden werden. Erst dann kann ein Reranker sie nach vorn holen.
Einordnung
Vorteile und Grenzen
Das spricht dafür
- Macht lange Dokumente gezielt und nachvollziehbar durchsuchbar.
- Verringert irrelevanten Kontext in der Modellanfrage.
- Kann relevante Kandidaten in der Ergebnisliste nach vorn holen.
- Erlaubt Quellenangaben auf Abschnittsebene.
Das solltest du beachten
- Zu kleine Chunks verlieren Zusammenhänge und Definitionen.
- Zu große Chunks verwässern die semantische Suche.
- Reranking braucht zusätzliche Rechenzeit und kann externe API-Kosten verursachen.
- Parameter wie Länge, Überlappung und Top-k brauchen Evaluation.
Vertiefung · für FortgeschritteneRetrieval-Pipeline für Dokumente
Die erste Suche sammelt Kandidaten. Die zweite Stufe bewertet ihre Reihenfolge für die konkrete Frage.
Kontext auswählen
