Inverted Index

Autor: Ralf Dodler

Ein Inverted Index bezeichnet eine Datenstruktur, die jedem Term eines Dokumentkorpus eine geordnete Liste aller Dokumente zuweist, in denen der Term vorkommt. Suchsysteme greifen darüber direkt auf passende Dokumente zu, ohne den gesamten Bestand durchsuchen zu müssen.

Funktionsweise und Einordnung

Der Name beschreibt eine Umkehrung: Ein Dokument ist eine Folge von Begriffen, der Inverted Index ist eine Liste von Begriffen, die auf Dokumente verweisen. Beim Indexieren zerlegt die Textvorverarbeitung jedes Dokument in Terme. Alle einzigartigen Terme landen in einem Wörterbuch, und zu jedem Term gehört eine Posting-Liste mit den Dokument-IDs.

Posting-Listen speichern oft zusätzlich die Häufigkeit eines Terms und seine Positionen im Dokument. Die Häufigkeit liefert Gewichtungsverfahren wie TF-IDF und BM25 ihre Signale, die Positionen ermöglichen Phrasensuche. Der Inverted Index ist die Grundstruktur des Sparse Retrieval.

Aufbau, Abfragen und die Rolle in AI-Search erklärt der Beitrag Inverted Index: Wie Suchsysteme Dokumente blitzschnell durchsuchen.

Strategische Bedeutung für SEO, GEO und AI-Search

Der Inverted Index entscheidet in lexikalischen und hybriden Suchsystemen, welche Dokumente für eine Anfrage überhaupt in Frage kommen. Das Generative Authority Model (GAM) von Ralf Dodler ordnet diese Abrufbarkeit der Ebene Retrieval Activation zu: Ein Dokument ohne Eintrag in der Posting-Liste eines Anfrageterms ist für diese Suche nicht vorhanden.

  • Nur Begriffe, die tatsächlich im Text stehen, erzeugen Einträge. Ein Fachbegriff, den ein Text nur umschreibt, fehlt im Index.
  • Mehrwortbegriffe findet die Phrasensuche über Positionsdaten. Sie müssen deshalb in fester Wortfolge im Text stehen.
  • Hybride AI-Search-Systeme fragen Inverted Index und Vektorindex parallel ab. Ein Text, der in beiden auftaucht, hat zwei Wege in die Kandidatenmenge.

Beispiel

Der Term „suchsysteme“ verweist auf Dok 1, 4 und 7, der Term „dokumente“ auf Dok 1, 2, 4 und 7. Für die Anfrage „suchsysteme dokumente“ liest das System nur diese beiden Posting-Listen und bildet die Schnittmenge: Dok 1, 4 und 7. Kein anderes Dokument wird geöffnet.

Häufige Fragen zum Inverted Index

Was ist eine Posting-Liste?

Eine Posting-Liste ist die Liste aller Dokumente, in denen ein bestimmter Term vorkommt. Sie ist nach Dokument-ID sortiert und enthält oft zusätzlich Häufigkeit und Positionen des Terms. Für jeden Term im Wörterbuch des Index gibt es genau eine Posting-Liste.

Warum ist ein Inverted Index so schnell?

Ein Inverted Index ist schnell, weil er nur die Posting-Listen der Anfrageterme liest statt aller Dokumente. Die Listen sind nach Dokument-ID sortiert, deshalb lassen sich Schnittmengen in linearer Zeit bilden. Der Aufwand hängt von der Länge der Listen ab, nicht von der Größe des Bestands.

Was unterscheidet einen Inverted Index von einem Vektorindex?

Ein Inverted Index findet Dokumente über gemeinsame Terme, ein Vektorindex über die Nähe von Embeddings. Der Inverted Index trifft exakte Begriffe zuverlässig, übersieht aber Synonyme. Der Vektorindex erkennt Bedeutungsnähe, verfehlt aber manchmal exakte Bezeichnungen wie Produktnummern.

Nutzen AI-Search-Systeme noch einen Inverted Index?

Viele AI-Search-Systeme nutzen weiterhin einen Inverted Index, meist als Teil einer hybriden Suche. Er liefert Kandidaten für exakte Begriffe, die Vektorsuche ergänzt bedeutungsnahe Treffer. Beide Kandidatenlisten werden danach zusammengeführt und neu sortiert.

Verwandte Begriffe

TF-IDF
BM25
Sparse Retrieval
Textvorverarbeitung
Tokenisierung
Vector Indexing
Hybrid Search
Information Retrieval