Skalarprodukt

Das Skalarprodukt, englisch Dot Product, bezeichnet die Summe der Produkte aller Komponenten zweier Vektoren. Es verbindet Richtung und Länge der Vektoren in einem Wert. Suchsysteme nutzen es als Ähnlichkeitsmaß, vor allem für normierte Embeddings.

Funktionsweise und Einordnung

Zeigen zwei Vektoren in ähnliche Richtungen, wird das Skalarprodukt groß. Sind sie zusätzlich lang, wird es noch größer. Der Wertebereich ist nach oben offen, ein einzelner Wert sagt deshalb wenig, nur die Rangfolge zählt.

Das Skalarprodukt ist der Kern der Cosine Similarity, die es durch das Produkt der Vektorlängen teilt. Bei normierten Vektoren der Länge 1 sind beide Maße identisch. Viele Embedding-Modelle liefern normierte Vektoren, Suchsysteme rechnen dann das schnellere Skalarprodukt. Die Suche nach dem größten Skalarprodukt heißt Maximum Inner Product Search und ist in Vektordatenbanken eine eigene Metrik.

Den Vergleich mit Cosine Similarity und euklidischer Distanz zeigt der Beitrag Cosine Similarity und Vektorraummodell: Wie Suchsysteme Ähnlichkeit messen.

Strategische Bedeutung für SEO, GEO und AI-Search

Das Skalarprodukt entscheidet in Vektorsuchen mit normierten Embeddings, welche Passagen als Kandidaten gelten. Das Generative Authority Model (GAM) von Ralf Dodler ordnet diese Abrufbarkeit der Ebene Retrieval Activation zu: Ein Inhalt kann nur zitiert werden, wenn er bei diesem Vergleich vorn liegt.

Arbeitet ein Modell mit dem Skalarprodukt auf nicht normierten Vektoren, zählt neben der Richtung die Länge. Sie kann ausdrücken, wie informativ eine Passage ist.
Das Maß gehört zum Embedding-Modell, nicht zum Inhalt. Optimieren lässt sich nicht das Maß, sondern die Nähe einer Passage zur Frage.
Weil das Skalarprodukt die schnellste Berechnung ist, prüfen Systeme damit Millionen Passagen. Nur was hier vorn liegt, erreicht das genauere Reranking.

Beispiel

Anfrage (1, 1, 0) und Dokument (2, 1, 0) ergeben 1·2 + 1·1 + 0·0 = 3. Dasselbe Dokument in doppelter Länge (4, 2, 0) ergibt 6, obwohl der Inhalt gleich ist. Die Cosine Similarity bleibt in beiden Fällen bei 0,95.

Häufige Fragen zum Skalarprodukt

Wann ist das Skalarprodukt besser als Cosine Similarity?

Das Skalarprodukt ist besser, wenn ein Embedding-Modell damit trainiert wurde und die Vektorlänge als Signal nutzt. Die Länge kann dann ausdrücken, wie informativ ein Text ist. Bei normierten Vektoren liefern beide Maße dieselbe Rangfolge.

Was ist der Unterschied zwischen Skalarprodukt und Dot Product?

Skalarprodukt und Dot Product bezeichnen dieselbe Rechenoperation. Dot Product ist der englische Begriff, der in Dokumentationen von Vektordatenbanken und Embedding-Modellen üblich ist. Manche Quellen sprechen auch vom Inner Product.

Warum rechnen Suchsysteme mit dem Skalarprodukt?

Suchsysteme rechnen mit dem Skalarprodukt, weil es die schnellste Ähnlichkeitsberechnung ist. Es braucht nur Multiplikationen und Additionen, die Prozessoren und Grafikkarten parallel ausführen. Bei Millionen Vektoren pro Anfrage zählt jede gesparte Rechenoperation.

Nutzen Sprachmodelle das Skalarprodukt?

Sprachmodelle nutzen das Skalarprodukt im Attention-Mechanismus der Transformer-Architektur. Dort vergleicht es Vektoren einzelner Tokens, um zu bestimmen, welche Wörter sich aufeinander beziehen. Im Retrieval wählt es zusätzlich die Passagen aus, die ein Modell als Kontext erhält.