Warum Chunking notwendig ist
Ein einzelner Vektor kann nur eine begrenzte Textmenge sinnvoll repräsentieren. Ein ganzes 200-Seiten-Handbuch in einen einzigen Vektor zu packen, würde alle Detailinformationen verwischen. Umgekehrt sind zu kleine Chunks ohne Kontext nicht aussagekräftig. Die Kunst liegt in der richtigen Granularität.
Chunking-Strategien
Gängige Ansätze sind das Zerlegen nach fester Zeichenzahl mit Überlappung, nach Absätzen oder nach semantischen Einheiten (Kapitel, Abschnitte). Typische Chunk-Größen liegen zwischen 200 und 1.000 Tokens, meist mit einer Überlappung von 10 bis 20 Prozent, damit Sachverhalte an Chunk-Grenzen nicht zerrissen werden. Fortgeschrittene Systeme erkennen die Dokumentstruktur automatisch und passen die Chunk-Grenzen an Überschriften, Listen und Tabellen an.
Moderne Verfahren
Neuere Ansätze gehen über regelbasiertes Zerlegen hinaus. Beim semantischen Chunking bestimmt ein kleines Modell inhaltliche Bruchstellen — statt nach Zeichenzahl oder Absätzen wird an tatsächlichen Themenwechseln getrennt. Contextual Retrieval (Anthropic, 2024) ergänzt jeden Chunk um eine kurze Zusammenfassung des Gesamtdokuments, damit der Chunk auch isoliert seinen Kontext behält. Beide Verfahren heben die Antwortqualität erkennbar, kosten aber zusätzliche Rechenzeit bei der Indexierung.
Auswirkung auf die Praxis
Schlechtes Chunking ist eine der häufigsten Ursachen für unbefriedigende KI-Antworten. Wenn ein relevanter Sachverhalt über zwei Chunks verteilt ist, findet das System möglicherweise nur die Hälfte der Information. Die Optimierung der Chunking-Strategie ist daher einer der wirksamsten Hebel zur Verbesserung eines RAG-Systems.