Chunk

Ausführliche Erklärung

Chunking bezeichnet den Prozess, bei dem umfangreiche Texte oder Dokumente in kleinere, semantisch zusammenhängende Abschnitte unterteilt werden. Der Begriff stammt ursprünglich aus der Kognitionswissenschaft, wo er die Bündelung von Informationen zu verarbeitbaren Einheiten beschreibt. Im KI-Kontext ist Chunking eine zentrale Vorverarbeitungstechnik, die vor allem bei RAG-Systemen zum Einsatz kommt: Dokumente werden segmentiert, in Embeddings umgewandelt und in einer Vektordatenbank gespeichert, sodass ein KI-System später gezielt die relevantesten Textpassagen abrufen kann.

Die Notwendigkeit des Chunkings ergibt sich aus einem technischen Grundprinzip: Sprachmodelle können nicht unbegrenzt viele Informationen auf einmal verarbeiten, ihr Kontextfenster ist begrenzt. Jede Antwort beruht auf einer begrenzten Auswahl von Textpassagen, und diese Auswahl wird maßgeblich durch die Chunk-Struktur bestimmt. Ein schlecht segmentierter Text kann dazu führen, dass die KI relevante Passagen nicht findet, obwohl sie im Dokument stehen. Die Chunk-Größe und die Überlappung zwischen aufeinanderfolgenden Chunks sind dabei die entscheidenden Parameter: In der Praxis liegen Chunk-Größen häufig zwischen 256 und 2.048 Tokens, wobei eine Überlappung von 10 bis 20 Prozent hilft, den Zusammenhang über die Grenzen hinweg zu erhalten.

Es existieren verschiedene Chunking-Strategien: Fixed-Size Chunking teilt Text in Abschnitte fester Länge, ist schnell und vorhersehbar, kann aber Sätze mitten im Gedanken trennen. Semantisches Chunking orientiert sich an natürlichen Grenzen wie Absätzen, Überschriften oder Themenwechseln und liefert in der Regel präzisere Ergebnisse, erfordert aber mehr Rechenaufwand. Hybride Ansätze kombinieren beide Methoden, um sowohl Geschwindigkeit als auch kontextuelle Integrität zu gewährleisten.

Für Unternehmen, die KI-gestützte Suchsysteme, Chatbots oder Wissensdatenbanken einsetzen möchten, ist die Wahl der richtigen Chunking-Strategie entscheidend für die Qualität der generierten Antworten. Eine strukturierte, auf Dokumentart und Anwendungsfall abgestimmte Segmentierung verbessert die Auffindbarkeit von Informationen, reduziert Fehlantworten und senkt die Kosten, weil weniger irrelevanter Text an das Modell übergeben wird.

Code-Beispiel

from langchain_text_splitters import RecursiveCharacterTextSplitter

# Recursive Splitter mit Überlappung
splitter = RecursiveCharacterTextSplitter(
    chunk_size=800,
    chunk_overlap=150,
    separators=["\n\n", "\n", ". ", " ", ""]
)

dokument = """Kapitel 1: Installation
Die Montage erfolgt bei Raumtemperatur...

Kapitel 2: Wartung
Jährliche Kontrolle der Ventile..."""

chunks = splitter.split_text(dokument)
print(f"Anzahl Chunks: {len(chunks)}")