BM25

BM25 bezeichnet einen probabilistischen Ranking-Algorithmus, der Dokumente nach ihrer Relevanz für eine Suchanfrage bewertet. Er kombiniert die Häufigkeit eines Begriffs im Dokument, seine Seltenheit im Korpus und die Länge des Dokuments zu einem Score. BM25 steht für „Best Matching 25“ und gilt als Standard des lexikalischen Rankings.

Funktionsweise und Einordnung

BM25 baut auf TF-IDF auf und ergänzt zwei Mechanismen. Eine Sättigungsfunktion sorgt dafür, dass jedes weitere Vorkommen eines Begriffs weniger zusätzliches Gewicht bringt, gesteuert über den Parameter k1. Eine Längennormalisierung vergleicht jedes Dokument mit der durchschnittlichen Dokumentlänge, gesteuert über den Parameter b. So zählt die Informationsdichte statt der Textmenge.

BM25 liest seine Signale aus dem Inverted Index und ist das Kernverfahren des Sparse Retrieval. In Hybrid Search wird es mit Vektorsuche kombiniert.

Faktoren, Formel und Einsatz in AI-Search erklärt der Beitrag BM25 einfach erklärt: Wie Suchsysteme Dokumente nach Relevanz bewerten.

Strategische Bedeutung für SEO, GEO und AI-Search

BM25 entscheidet in vielen Retrieval-Pipelines, welche Dokumente die lexikalische Kandidatenliste anführen. Das Generative Authority Model (GAM) von Ralf Dodler ordnet diese Abrufbarkeit der Ebene Retrieval Activation zu: Was BM25 nicht nach vorn bringt, erreicht in hybriden Systemen oft weder Reranking noch Antwort.

Die Sättigung macht Keyword-Stuffing wirkungslos. Ein Begriff zählt nach wenigen Vorkommen kaum noch mehr.
Die Längennormalisierung bevorzugt dichte Texte. Ein kurzer Abschnitt mit dem passenden Begriff schlägt einen langen, verwässerten Text.
BM25 kennt keine Synonyme. Der Begriff, den Nutzer suchen, muss im Text stehen, nicht nur eine Umschreibung.

Beispiel

Zwei Dokumente enthalten den Suchbegriff je dreimal. Dokument A hat 300 Wörter, Dokument B 3000. BM25 bewertet A höher, weil der Begriff dort einen größeren Anteil des Textes ausmacht. Ein drittes Dokument mit dreißig Vorkommen liegt vorn, aber nicht zehnmal so weit wie eines mit drei.

Häufige Fragen zu BM25

Wofür steht BM25?

BM25 steht für „Best Matching 25“. Die Zahl bezeichnet eine Variante aus einer Reihe von Bewertungsfunktionen, die für das Retrieval-System Okapi entwickelt wurden. Deshalb heißt das Verfahren auch Okapi BM25.

Was bewirken die Parameter k1 und b?

Der Parameter k1 steuert, wie schnell die Termfrequenz sättigt, der Parameter b, wie stark die Dokumentlänge zählt. Ein kleines k1 lässt Wiederholungen früh wirkungslos werden. Bei b = 0 spielt die Länge keine Rolle, bei b = 1 wird sie voll normalisiert.

Ist BM25 besser als Vektorsuche?

BM25 ist bei exakten Begriffen, Namen und Produktnummern oft besser als Vektorsuche, bei Synonymen und umschriebenen Anfragen schlechter. Beide Verfahren haben komplementäre Stärken. Moderne Systeme kombinieren sie deshalb in einer hybriden Suche.

Nutzen RAG-Systeme BM25?

Viele RAG-Systeme nutzen BM25 als lexikalischen Teil ihres Retrievals. Es findet Passagen mit exakten Fachbegriffen, die eine reine Vektorsuche übersehen kann. Die Kandidaten beider Verfahren werden zusammengeführt, bevor das Sprachmodell sie erhält.