Mean Reciprocal Rank

Mean Reciprocal Rank (MRR) ist eine Metrik der Retrieval-Evaluation, die bewertet, wie weit oben der erste relevante Treffer einer Rangliste steht. Mean Reciprocal Rank mittelt dafür den Kehrwert dieses Rangs über alle Anfragen und liefert einen Wert zwischen 0 und 1.

Funktionsweise und Einordnung

Für jede Anfrage wird der Reciprocal Rank berechnet: 1 geteilt durch den Rang des ersten relevanten Treffers. Steht er auf Rang 1, ist der Wert 1, auf Rang 2 beträgt er 0,5, auf Rang 10 nur 0,1. Findet das System keinen relevanten Treffer, zählt die Anfrage mit 0. MRR ist der Mittelwert über alle Anfragen.

MRR ignoriert alle relevanten Treffer nach dem ersten. Die Metrik passt deshalb zu Anfragen mit einer einzigen richtigen Antwort, etwa zu Fakten- oder Navigationsanfragen. Für Anfragen mit vielen relevanten Dokumenten eignen sich Average Precision oder nDCG.

Den Vergleich mit Precision, Recall und nDCG zeigt der Beitrag Retrieval-Evaluation: Wie Suchsysteme die Qualität ihrer Ergebnisse messen.

Strategische Bedeutung für SEO, GEO und AI-Search

MRR misst, ob die beste Antwort ganz oben steht. Das Generative Authority Model (GAM) von Ralf Dodler ordnet diese Position der Ebene Retrieval Activation zu: Bei Faktenfragen reicht einem AI-Search-System die oberste passende Passage.

Bei Faktenfragen gewinnt die Passage, die die Antwort im ersten Satz liefert. Ein Abschnitt, der erst nach Einleitungen antwortet, rutscht hinter direktere Quellen.
Für MRR zählt nur der erste relevante Treffer. Eine zweite gute Seite zum selben Thema verbessert den Wert nicht.

Beispiel

Drei Anfragen liefern ihren ersten relevanten Treffer auf Rang 1, Rang 2 und Rang 4. Die Reciprocal Ranks betragen 1, 0,5 und 0,25. Der Mean Reciprocal Rank ist ihr Mittelwert: 1,75 geteilt durch 3, also 0,583.

Häufige Fragen zum Mean Reciprocal Rank

Was ist der Unterschied zwischen MRR und MAP?

MRR bewertet nur die Position des ersten relevanten Treffers, MAP die Positionen aller relevanten Treffer. MRR passt zu Anfragen mit einer richtigen Antwort. MAP passt zu Anfragen, bei denen mehrere relevante Dokumente gebraucht werden.

Wie geht MRR mit Anfragen ohne Treffer um?

Eine Anfrage ohne relevanten Treffer in der Liste erhält den Reciprocal Rank 0. Sie senkt den Mittelwert über alle Anfragen. Wird mit Cut-off gemessen, zählt auch ein relevanter Treffer jenseits von Rang k als 0.

Wo wird MRR eingesetzt?

MRR wird für Frage-Antwort-Systeme, Navigationssuche und die Bewertung von Re-Rankern eingesetzt. In diesen Fällen entscheidet der erste passende Treffer über den Erfolg. Bekannte Passage-Ranking-Benchmarks nutzen MRR@10 als Leitmetrik.