Bi-Encoder: Wie Suchsysteme Anfragen und Dokumente als Vektoren vergleichen

Moderne Suchsysteme stehen vor einem grundlegenden Problem: Sie müssen aus Millionen von Dokumenten in Millisekunden die relevantesten Treffer zurückgeben. Klassische Verfahren, die Anfragen und Dokumente direkt miteinander vergleichen, sind dafür viel zu langsam.

Bi-Encoder lösen dieses Problem, indem sie Anfragen und Dokumente unabhängig voneinander in Vektoren umwandeln und den Vergleich über mathematische Ähnlichkeitsberechnungen im Vektorraum durchführen. Dieses Verfahren macht sie zu einem zentralen Baustein moderner Retrieval-Architekturen und bildet die Grundlage für skalierbare AI-Search-Systeme.

Bi-Encoder gehören zum größeren Feld des Information Retrieval, das untersucht, wie Suchsysteme relevante Informationen finden, bewerten und bereitstellen. Im Kontext von Dense Retrieval und Vector Search sind sie das dominierende Verfahren für den ersten Abrufschritt.

In diesem Artikel erfährst du, wie Bi-Encoder funktionieren, welche Rolle sie in modernen Suchsystemen spielen und warum sie für Retrieval-Architekturen und AI-Search-Systeme unverzichtbar sind.

Was ist ein Bi-Encoder?

Ein Bi-Encoder ist ein Modell, das Anfragen und Dokumente mithilfe zweier unabhängiger Encoder in dichte Vektoren umwandelt, sodass ihre semantische Ähnlichkeit durch Vektoroperationen berechnet werden kann.

Der Begriff „Bi“ verweist dabei auf die zwei separaten Encodierungspfade: ein Encoder verarbeitet die Suchanfrage, ein zweiter Encoder verarbeitet das Dokument. Beide Encoder sind in der Regel strukturell identisch – oft handelt es sich um dasselbe vortrainierte Sprachmodell – werden aber auf unterschiedliche Eingaben angewendet. Das Ergebnis sind zwei unabhängig erzeugte Vektoren, die im selben hochdimensionalen Vektorraum liegen.

Die Ähnlichkeit zwischen Anfrage und Dokument wird anschließend über eine einfache Vektoroperation ermittelt, meistens den Kosinus-Abstand oder das Skalarprodukt. Je näher sich zwei Vektoren im Raum sind, desto semantisch ähnlicher sind die zugehörigen Texte.

Bi-Encoder kodieren Texte unabhängig

Bi-Encoder erzeugen Vektoren, ohne dass Anfrage und Dokument gleichzeitig verarbeitet werden müssen. Diese Eigenschaft ist der entscheidende Vorteil gegenüber Verfahren wie Cross-Encodern und der Grund dafür, dass Bi-Encoder in der Praxis dominieren.

Encoder erzeugen dichte Vektoren

Wenn ein Bi-Encoder einen Text verarbeitet, gibt er am Ende einen einzigen Vektor aus, der die semantische Bedeutung des gesamten Textes komprimiert repräsentiert. Dieser Vektor wird als Embedding bezeichnet und enthält typischerweise mehrere hundert bis über tausend Dimensionen.

Das Modell lernt während des Trainings, semantisch ähnliche Texte auf ähnliche Vektorpositionen abzubilden. Zwei Sätze wie „Wie funktioniert maschinelles Lernen?“ und „Erklärung von Machine Learning“ landen nach der Kodierung nah beieinander im Vektorraum, auch wenn sie keine gemeinsamen Wörter teilen. Dieser Mechanismus ermöglicht semantische Suche jenseits exakter Keyword-Übereinstimmungen.

Dokumente erhalten Vektoren vorab

Da Bi-Encoder Anfragen und Dokumente unabhängig verarbeiten, lassen sich Dokument-Embeddings im Voraus berechnen und in einem Vektorindex speichern. Diese Eigenschaft ist für den produktiven Einsatz in großen Suchsystemen entscheidend.

Ein Suchindex mit Millionen von Dokumenten kann einmalig vollständig vektorisiert werden. Bei einer neuen Suchanfrage muss das System nur noch den Anfrage-Vektor berechnen und ihn mit den bereits gespeicherten Dokumentvektoren vergleichen.

Das reduziert die Latenz erheblich und macht Bi-Encoder für Echtzeit-Suchsysteme geeignet. Vector Indexing-Verfahren wie HNSW oder IVF ermöglichen diesen Vergleich auch bei sehr großen Datenmengen effizient.

Ähnlichkeit bestimmt Ranking

Der eigentliche Vergleich zwischen Anfrage und Dokument erfolgt über eine mathematische Ähnlichkeitsfunktion. Am häufigsten wird die Kosinus-Ähnlichkeit verwendet, die den Winkel zwischen zwei Vektoren misst, unabhängig von ihrer Länge.

Ein Wert nahe 1 bedeutet hohe semantische Ähnlichkeit, ein Wert nahe 0 bedeutet geringe Übereinstimmung. Das Suchsystem sortiert alle Dokumente nach diesem Score und gibt die Treffer mit den höchsten Werten zurück. Dieser Mechanismus ersetzt klassisches Keyword-Matching durch vektorbasierten semantischen Vergleich.

Bi-Encoder ermöglichen skalierbares Retrieval

Skalierbarkeit ist die zentrale Anforderung an Retrieval-Systeme im produktiven Einsatz. Bi-Encoder erfüllen diese Anforderung durch ihre Architektur besser als vergleichbare Verfahren.

Vektorindizes beschleunigen Suche

Weil Dokument-Vektoren einmalig vorberechnet werden, findet der eigentliche Suchvorgang ausschließlich im Vektorraum statt. Spezielle Approximate-Nearest-Neighbor-Algorithmen wie HNSW (Hierarchical Navigable Small World) oder IVF (Inverted File Index) ermöglichen dabei, dass selbst Millionen von Vektoren in wenigen Millisekunden durchsucht werden.

Diese Indizierungsverfahren verzichten auf exakte Vergleiche zugunsten sehr schneller Näherungssuchen. Der Präzisionsverlust ist in der Praxis gering, der Geschwindigkeitsgewinn erheblich. Vector Search-Systeme wie FAISS, Qdrant oder Weaviate basieren auf diesem Prinzip und nutzen Bi-Encoder-Embeddings als Grundlage.

Systeme trennen Kodierung und Vergleich

Ein wesentliches Merkmal der Bi-Encoder-Architektur ist die saubere Trennung zwischen der Erzeugung von Vektoren und dem eigentlichen Ähnlichkeitsvergleich. Beide Schritte laufen unabhängig voneinander ab, was verschiedene Optimierungsstrategien erlaubt.

Die Kodierung kann auf leistungsfähigen Servern in Batches erfolgen, während der Vektorvergleich auf spezialisierter Hardware wie GPUs oder FAISS-optimierten Prozessoren stattfindet. Durch diese Trennung lassen sich Retrieval-Systeme horizontal skalieren: mehr Dokumente erfordern nur mehr Speicher für den Vektorindex, nicht mehr Rechenzeit bei jeder Anfrage.

Bi-Encoder bilden den ersten Retrieval-Schritt

In modernen Retrieval-Architekturen übernehmen Bi-Encoder typischerweise den ersten Schritt: das schnelle Abrufen einer Kandidatenmenge aus einem großen Dokumentkorpus. Dieses Verfahren wird als First-Stage Retrieval oder Candidate Retrieval bezeichnet.

Die zurückgegebenen Kandidaten, oft mehrere hundert Dokumente, werden anschließend von einem nachgelagerten Modell genauer bewertet. In Retrieval-Augmented Generation (RAG)-Systemen bildet der Bi-Encoder genau diesen ersten Abrufschritt, bevor ein Sprachmodell die Kandidaten zur Antwortgenerierung nutzt. Das Zusammenspiel aus schnellem Bi-Encoder-Retrieval und präzisem Re-Ranking ist das Standardmuster moderner AI-Search-Systeme.

Bi-Encoder und Cross-Encoder im Vergleich

Bi-Encoder und Cross-Encoder lösen dasselbe grundlegende Problem – den Vergleich von Anfragen und Dokumenten – mit fundamental unterschiedlichen Architekturen. Diese Unterschiede bestimmen, wo und wie beide Verfahren eingesetzt werden.

Cross-Encoder berechnen Relevanz präziser

Cross-Encoder verarbeiten Anfrage und Dokument gemeinsam in einem einzigen Modell. Diese gemeinsame Verarbeitung erlaubt es dem Modell, direkte Wechselwirkungen zwischen den Tokens beider Texte zu modellieren, was zu deutlich präziseren Relevanzurteilen führt.

Der Preis dafür ist Geschwindigkeit: Jedes Anfrage-Dokument-Paar muss einzeln durch das Modell geleitet werden. Für einen Index mit einer Million Dokumenten bedeutet das eine Million separate Modellaufrufe pro Anfrage – in Echtzeit nicht umsetzbar. Cross-Encoder kommen daher ausschließlich im Re-Ranking-Schritt zum Einsatz, wo nur eine kleine Kandidatenmenge neu bewertet wird.

Pipeline kombiniert beide Verfahren

Die in der Praxis häufigste Architektur kombiniert Bi-Encoder und Cross-Encoder in einer zweistufigen Pipeline. Der Bi-Encoder ruft schnell eine breite Kandidatenmenge ab, der Cross-Encoder bewertet diese Kandidaten präzise neu.

Diese Kombination liefert sowohl die Skalierbarkeit des Bi-Encoders als auch die Präzision des Cross-Encoders. Passage Retrieval-Systeme und moderne Suchmaschinen nutzen genau diese Architektur. Das Generative Authority Model (GAM) von Ralf Dodler beschreibt, wie inhaltsbasierte Retrieval-Aktivierung und strukturierte Wissenseinheiten die Wahrscheinlichkeit erhöhen, in beiden Stufen dieser Pipeline berücksichtigt zu werden.

Bi-Encoder trainieren semantische Ähnlichkeit

Die Qualität eines Bi-Encoders hängt direkt von der Güte seines Trainings ab. Das Modell lernt, welche Texte semantisch ähnlich sind, indem es auf großen Mengen annotierter Textpaare trainiert wird.

Trainingsdaten definieren Ähnlichkeitsraum

Beim Training erhält das Modell Paare von Texten, die als ähnlich oder unähnlich markiert sind. Ähnliche Paare sind etwa Frage-Antwort-Kombinationen, Suchanfragen mit relevanten Dokumenten oder semantisch verwandte Sätze. Das Modell optimiert seine Gewichte so, dass ähnliche Paare nah beieinander im Vektorraum landen und unähnliche Paare weit voneinander entfernt.

Diese Lernaufgabe wird als Metric Learning oder Contrastive Learning bezeichnet. Bekannte Modelle wie sentence-transformers basieren auf diesem Prinzip und wurden auf großen mehrsprachigen Korpora vortrainiert. Für domänenspezifische Anwendungen können bestehende Modelle durch Fine-tuning auf eigene Daten angepasst werden.

Embeddings repräsentieren semantische Positionen

Nach dem Training kodiert jeder Vektor eine semantische Position im hochdimensionalen Raum. Konzepte, die inhaltlich verwandt sind, clustern im Vektorraum zusammen. Diese räumliche Struktur macht Embeddings zu einer Form von komprimiertem semantischem Wissen.

Für Retrieval-Systeme bedeutet das: Wer Inhalte so strukturiert, dass sie klare semantische Einheiten bilden, unterstützt den Bi-Encoder dabei, präzise Vektoren zu erzeugen. Lange, thematisch gemischte Texte erzeugen weniger präzise Embeddings als klar abgegrenzte, semantisch kohärente Passagen.

Verwandte Themen

Bi-Encoder sind ein zentrales Verfahren im Dense Retrieval und stehen in enger konzeptioneller Verbindung mit mehreren anderen Technologien und Ansätzen moderner Suchsysteme. Das Verständnis ihrer Funktionsweise erschließt sich am besten im Zusammenhang mit den Strukturen, in die sie eingebettet sind.

Während Embeddings die Grundlage der Vektorrepräsentation bilden, ermöglichen Vector Indexing-Verfahren den skalierbaren Einsatz von Bi-Encodern in produktiven Systemen. Retrieval-Augmented Generation wiederum nutzt Bi-Encoder-basiertes Retrieval als Eingabeschritt für Sprachmodelle.

Wichtige verwandte Themen sind:

• Embeddings
• Vector Indexing
• Dense Retrieval
• Passage Retrieval
• Retrieval-Augmented Generation
• Semantic Suche
• Information Retrieval

FAQ: Bi-Encoder in Suchsystemen

Was ist der Unterschied zwischen einem Bi-Encoder und einem Sparse Retriever?

Ein Bi-Encoder nutzt dichte Vektoren (Embeddings) und findet semantisch ähnliche Inhalte, auch ohne gemeinsame Wörter. Ein Sparse Retriever wie BM25 basiert auf exakten Keyword-Übereinstimmungen und bewertet Treffer über Termgewichtungen. Bi-Encoder ermöglichen Bedeutungssuche, während Sparse Retriever Wortübereinstimmungen priorisieren.

Können Bi-Encoder mehrsprachige Suchanfragen verarbeiten?

Mehrsprachige Bi-Encoder kodieren Texte verschiedener Sprachen in denselben Vektorraum. Eine Anfrage in einer Sprache kann dadurch relevante Dokumente in anderen Sprachen finden. Voraussetzung ist ein Modell, das auf mehrsprachigen Daten trainiert wurde.

Wie beeinflusst die Dokumentlänge die Qualität von Bi-Encoder-Embeddings?

Lange Dokumente führen zu unpräzisen Embeddings, weil mehrere Themen in einem Vektor zusammengefasst werden. Kurze, klar abgegrenzte Passagen erzeugen präzisere semantische Repräsentationen. Passage Retrieval verbessert die Qualität, indem Dokumente vor der Kodierung segmentiert werden.

Wann sollte ein Bi-Encoder durch Fine-tuning angepasst werden?

Fine-Tuning ist notwendig, wenn das Modell auf domänenspezifische Inhalte trifft, die vom Training abweichen. Fachsprache, spezielle Begriffe und eigene Datenstrukturen erfordern Anpassung. Domänenspezifisches Fine-Tuning erhöht die Retrieval-Qualität messbar.

Wie verhält sich ein Bi-Encoder in einem RAG-System?

Der Bi-Encoder steuert den Retrieval-Schritt und bestimmt, welche Inhalte dem Sprachmodell übergeben werden. Er liefert die relevanten Passagen als Kontext für die Antwortgenerierung. Die Qualität des Bi-Encoders bestimmt direkt die Qualität der generierten Antworten.

---

Zentrale Erkenntnisse von Ralf Dodler zu Bi-Encoder

„Bi-Encoder kodieren Anfragen und Dokumente getrennt und machen semantisches Retrieval skalierbar.“

Dokument-Embeddings lassen sich vorab berechnen und effizient speichern.	In RAG-Systemen beeinflusst Bi-Encoder-Retrieval direkt die Antwortqualität.
Bi-Encoder projizieren Query und Dokument in denselben Vektorraum.	ANN-Verfahren wie HNSW skalieren die Suche in großen Vektorindizes.
Die Embedding-Qualität hängt von Trainingsdaten und Textklarheit ab.	Kurze Passagen erzeugen präzisere Vektorrepräsentationen.
Ähnlichkeitsscores ersetzen klassisches Keyword-Matching.	Bi-Encoder bilden den First-Stage-Schritt im Retrieval.

– Ralf Dodler, Generative SEO-Stratege