Stemming

Stemming bezeichnet ein regelbasiertes Verfahren, das Wörter durch das Abschneiden von Endungen auf einen gemeinsamen Wortstamm kürzt. Der Stamm muss kein echtes Wort sein, er muss nur für alle Formen eines Wortes gleich sein. Suchsysteme nutzen Stemming, damit verschiedene Wortformen denselben Indexterm treffen.

Funktionsweise und Einordnung

Ein Stemmer bestimmt zuerst die Wortregion, die gekürzt werden darf, und entfernt dann die längste passende Endung wie „-en“, „-er“ oder „-ung“. Er arbeitet ohne Wörterbuch und verarbeitet Millionen Wörter in Sekunden. Der bekannteste Algorithmus ist der Porter-Stemmer, den Martin Porter 1980 für Englisch veröffentlicht hat. Für Deutsch und viele weitere Sprachen gibt es Snowball-Stemmer mit eigenen Regelsätzen.

Stemming ist ein Schritt der Textvorverarbeitung. Die genauere, aber langsamere Alternative ist die Lemmatisierung, die per Wörterbuch echte Grundformen liefert.

Suffixregeln, Fehlerarten und den Vergleich mit der Lemmatisierung erklärt der Beitrag Textvorverarbeitung: Wie Suchsysteme Texte für das Retrieval aufbereiten.

Strategische Bedeutung für SEO, GEO und AI-Search

Stemming entscheidet in lexikalischen Suchsystemen, welche Wortformen einer Anfrage ein Dokument finden. Das Generative Authority Model (GAM) von Ralf Dodler ordnet diese Abrufbarkeit der Ebene Retrieval Activation zu: Ein Dokument ist nur auffindbar, wenn seine Wortformen auf den Stamm der Anfrage fallen.

Regelmäßige Plural- und Beugungsformen eines Fachbegriffs muss ein Text nicht alle enthalten, der Stemmer führt sie zusammen.
Unregelmäßige Formen wie „ging“ und „gehen“ führt ein Stemmer nicht zusammen. Zentrale Begriffe gehören deshalb auch in ihrer Grundform in den Text.
Überstemming mischt Bedeutungen. Ein eindeutiger Kontext um den Begriff hilft späteren Ranking-Stufen, die richtige Bedeutung zu erkennen.

Beispiel

Der deutsche Snowball-Stemmer macht aus „Häuser“, „Haus“ und „Hauses“ den Stamm „haus“. Eine Anfrage nach „Häuser“ findet damit auch Dokumente, die nur „Haus“ enthalten. Aus „renovieren“ wird dagegen „renovi“, aus „renoviert“ bleibt „renoviert“ – ein Fall von Unterstemming.

Häufige Fragen zu Stemming

Was ist Überstemming?

Überstemming kürzt Wörter mit verschiedener Bedeutung auf denselben Stamm. Der Porter-Stemmer macht aus „universe“, „university“ und „universal“ den Stamm „univers“. Eine Suche nach Universitäten findet dadurch auch Texte über das Weltall.

Was ist Unterstemming?

Unterstemming lässt Formen desselben Wortes auf verschiedenen Stämmen. Die Regeln erkennen den Zusammenhang nicht, weil die Formen keine gemeinsame Endung haben. Eine Anfrage findet dann nur einen Teil der passenden Dokumente.

Was unterscheidet Stemming von Lemmatisierung?

Stemming kürzt Wörter per Regel auf einen Stamm, Lemmatisierung führt sie per Wörterbuch auf eine Grundform zurück. Stemming ist schneller, erzeugt aber Kunstwörter und Fehlzuordnungen. Lemmatisierung liefert echte Wörter und erkennt unregelmäßige Formen.

Nutzen Embedding-Modelle Stemming?

Embedding-Modelle nutzen kein Stemming. Sie zerlegen Text mit eigenen Subword-Tokenizern und erfassen Wortformen über den Kontext. Stemming bleibt in hybriden Systemen für den lexikalischen Teil der Suche wichtig.