TF-IDF

TF-IDF bezeichnet ein statistisches Maß zur Gewichtung von Termen in Dokumenten. Es berechnet das Gewicht eines Terms aus seiner Häufigkeit im Dokument (Term Frequency) und seiner Seltenheit in der Dokumentsammlung (Inverse Document Frequency).

Funktionsweise und Einordnung

Die Termfrequenz zählt, wie oft ein Begriff in einem Dokument vorkommt. Die inverse Dokumentfrequenz teilt die Zahl aller Dokumente durch die Zahl der Dokumente mit dem Term und logarithmiert das Ergebnis, um Extremwerte zu dämpfen. Das Produkt beider Werte ist hoch für Terme, die in einem Dokument häufig und im Bestand selten sind. Funktionswörter wie „und“ oder „der“ erhalten trotz hoher Häufigkeit ein niedriges Gewicht.

TF-IDF liefert die Werte der Dokumentvektoren im klassischen Vektorraummodell, verglichen werden sie meist über Cosine Similarity. Sein Nachfolger BM25 ergänzt eine Sättigung der Termfrequenz und eine Normalisierung der Dokumentlänge.

Berechnung, Varianten und Grenzen erklärt der Beitrag TF-IDF: Termgewichtung als Grundlage moderner Information Retrieval Systeme.

Strategische Bedeutung für SEO, GEO und AI-Search

TF-IDF entscheidet in lexikalischen Systemen, welche Begriffe ein Dokument auszeichnen. Das Generative Authority Model (GAM) von Ralf Dodler ordnet diese Abrufbarkeit der Ebene Retrieval Activation zu: Ein Dokument wird über die Terme gefunden, die es von anderen unterscheiden.

Präzise Fachbegriffe sind im Bestand selten und erhalten hohes Gewicht. Allgemeine Wörter tragen kaum zur Auffindbarkeit bei.
Wiederholung erhöht die Termfrequenz, aber nicht die Seltenheit. Ein Begriff wird durch Wiederholung nicht unterscheidungskräftiger.
Ein Thema mit eigenem Vokabular hebt sich im Bestand ab. Inhalte, die die Begriffe ihres Fachgebiets genau verwenden, sind leichter zu trennen.

Beispiel

Eine Sammlung hat 1000 Dokumente. Der Term „Retrieval“ steht in 10 davon, die IDF ist log₁₀(1000 / 10) = 2. Kommt der Term in einem Dokument fünfmal vor, ergibt sich ein Gewicht von 5 × 2 = 10. Ein Wort, das in allen 1000 Dokumenten steht, hat eine IDF von 0 und damit kein Gewicht.

Häufige Fragen zu TF-IDF

Wofür steht TF-IDF?

TF-IDF steht für Term Frequency – Inverse Document Frequency. Term Frequency misst die Häufigkeit eines Begriffs im Dokument, Inverse Document Frequency seine Seltenheit in der Sammlung. Das Gewicht ist das Produkt beider Werte.

Was unterscheidet TF-IDF von BM25?

BM25 erweitert TF-IDF um eine Sättigung der Termfrequenz und eine Normalisierung der Dokumentlänge. Bei TF-IDF wächst das Gewicht mit jeder Wiederholung weiter, bei BM25 flacht es ab. Deshalb gilt BM25 heute als Standard für lexikalisches Ranking.

Ist TF-IDF für SEO noch relevant?

TF-IDF ist als Rankingfaktor kein direktes Optimierungsziel, aber als Prinzip weiter relevant. Lexikalische Suchsysteme gewichten Begriffe bis heute nach Häufigkeit und Seltenheit. Inhalte profitieren davon, Fachbegriffe genau zu verwenden, nicht davon, Wortdichten nachzubilden.

Wo stößt TF-IDF an Grenzen?

TF-IDF stößt an Grenzen bei Synonymen und Bedeutung. Es zählt Wörter, versteht sie aber nicht, und „Auto“ und „PKW“ bleiben für das Verfahren unverbunden. Embedding-basierte Verfahren schließen diese Lücke und werden in hybriden Systemen mit TF-IDF oder BM25 kombiniert.