Textvorverarbeitung

Textvorverarbeitung bezeichnet die Verarbeitungskette aus Bereinigung, Tokenisierung, Normalisierung und Wortformreduktion, die Suchsysteme auf Texte anwenden, bevor sie sie indexieren. Sie überführt Rohtext in einheitliche Indexterme, damit Anfrage und Dokument über dieselben Begriffe vergleichbar werden.

Funktionsweise und Einordnung

Die Kette läuft immer in derselben Reihenfolge. Zuerst entfernt das System Markup und Störzeichen. Die Tokenisierung zerlegt den Text in Wörter, die Normalisierung vereinheitlicht Groß- und Kleinschreibung sowie Sonderzeichen. Danach filtert eine Stoppwortliste Funktionswörter heraus (Stoppwörter), und Stemming oder Lemmatisierung reduzieren jedes Wort auf einen Stamm oder eine Grundform.

Anfragen durchlaufen dieselbe Kette wie Dokumente. Weicht die Verarbeitung ab, findet der Index keine Treffer. Lexikalische Verfahren wie TF-IDF und BM25 hängen vollständig von dieser Stufe ab, neuronale Modelle nutzen stattdessen eigene Subword-Tokenizer.

Alle Schritte mit Beispielen und Tabellen erklärt der Beitrag Textvorverarbeitung: Wie Suchsysteme Texte für das Retrieval aufbereiten.

Strategische Bedeutung für SEO, GEO und AI-Search

Textvorverarbeitung legt fest, unter welchen Begriffen ein Text überhaupt abrufbar ist. Das Generative Authority Model (GAM) von Ralf Dodler ordnet diese Abrufbarkeit der Ebene Retrieval Activation zu: Was die Vorverarbeitung nicht zu einem passenden Term macht, erreicht weder Ranking noch AI-Antwort.

Ein Fachbegriff pro Konzept bündelt alle Vorkommen auf einem Indexterm, wechselnde Bezeichnungen verteilen sie.
Komposita und getrennte Schreibweisen landen auf verschiedenen Termen. Wer beide Varianten nutzt, trifft beide Anfragen.
Hybride AI-Search-Systeme verarbeiten denselben Text lexikalisch und neuronal. Der exakte Begriff und seine Erklärung gehören deshalb in denselben Abschnitt.

Beispiel

Der Satz „Die Häuser am Fluss wurden renoviert.“ wird nach Tokenisierung und Kleinschreibung zu „die · häuser · am · fluss · wurden · renoviert“. Der Stoppwortfilter lässt „häuser · fluss · renoviert“ übrig, der deutsche Snowball-Stemmer macht daraus „haus · fluss · renoviert“. Eine Anfrage nach „Haus“ trifft das Dokument jetzt.

Häufige Fragen zur Textvorverarbeitung

Warum müssen Anfragen dieselbe Vorverarbeitung durchlaufen?

Anfragen müssen dieselbe Vorverarbeitung durchlaufen, weil der Index nur die Terme kennt, die beim Indexieren entstanden sind. Kürzt das System Dokumente auf „haus“, die Anfrage aber nicht, findet „Häuser“ nichts. Abweichende Pipelines sind eine häufige Ursache für Nulltreffer.

Brauchen neuronale Suchsysteme Textvorverarbeitung?

Neuronale Suchsysteme brauchen eine andere Textvorverarbeitung als lexikalische. Sie bereinigen Text, verzichten aber auf Stemming und Stoppwortfilter und zerlegen Wörter mit eigenen Subword-Tokenizern. Hybride Systeme betreiben beide Pipelines nebeneinander.

Wie beeinflusst Textvorverarbeitung Recall und Precision?

Textvorverarbeitung erhöht den Recall, weil mehr Wortformen denselben Indexterm treffen. Zu starke Reduktion senkt die Precision, weil verschiedene Bedeutungen auf denselben Term fallen. Gute Pipelines wägen beides je Sprache und Anwendung ab.

Wie verarbeiten Suchsysteme mehrsprachige Texte?

Suchsysteme erkennen zuerst die Sprache eines Textes und wenden dann eine sprachspezifische Pipeline an. Tokenizer, Stoppwortliste und Stemmer unterscheiden sich je Sprache, weil Endungen und Funktionswörter verschieden sind.