Context Window

« Zurück zum Glossar Index

Das Context Window bezeichnet die maximale Anzahl an Tokens, die ein Sprachmodell gleichzeitig als Eingabe berücksichtigen kann. Es definiert den verfügbaren Arbeitskontext für Verarbeitung, Reasoning und Textgenerierung. Die Größe des Context Windows begrenzt, wie viel Information ein Modell in einem Durchlauf verarbeiten kann.

Funktionsweise und Einordnung

Ein Large Language Model verarbeitet Texte tokenweise. Das Context Window legt fest, wie viele dieser Tokens gleichzeitig im Modell präsent sind.

Das Context Window umfasst:

System-Prompt
Nutzeranfrage
bereitgestellte Kontexte (z. B. aus Retrieval)
bereits generierte Antworttokens

Überschreitet die Gesamtlänge diese Grenze, müssen Inhalte gekürzt oder segmentiert werden.

Konsequenzen:

Lange Dokumente müssen gechunked werden.
Retrieval-Systeme wählen nur relevante Segmente aus.
Kontextüberlauf kann zu Informationsverlust führen.

Die Größe des Context Windows variiert je nach Modellarchitektur und Version.

Strategische Bedeutung für SEO und AI-Search

In RAG- und AI-Search-Systemen bestimmt das Context Window, wie viele Dokument-Chunks in die Generierung einfließen können.

Implikationen für Generative Engine Optimization:

Inhalte sollten in sich geschlossene, kompakte Segmente gegliedert sein.
Präzise Definitionen reduzieren Tokenverbrauch.
Redundanz verringert effektive Kontextnutzung.
Struktur erleichtert selektives Retrieval.

Da nur ein Teil aller verfügbaren Informationen in das Context Window passt, konkurrieren Inhalte um Kontextplatz.

Sichtbarkeit entsteht nicht nur durch Retrieval, sondern auch durch Kontextökonomie.

Beispiel

Ein Modell besitzt ein Context Window von 8.000 Tokens.

Eine Anfrage umfasst 200 Tokens.
Die Systeminstruktionen benötigen 500 Tokens.

Es verbleiben 7.300 Tokens für Dokumentkontext und Antwort.

Wird zu viel irrelevanter Kontext eingespeist, reduziert sich der verfügbare Raum für präzise Generierung.

Häufige Fragen zu Context Window

Was passiert, wenn das Context Window überschritten wird?

Tokens, die die maximale Länge überschreiten, werden abgeschnitten oder nicht berücksichtigt. Dadurch kann relevante Information verloren gehen. Systeme müssen daher Kontext priorisieren.

Ist ein größeres Context Window immer besser?

Ein größeres Context Window erlaubt mehr Information gleichzeitig. Es erhöht jedoch Rechenaufwand und Kosten. Effektive Strukturierung bleibt entscheidend.

Welche Rolle spielt das Context Window in RAG-Systemen?

RAG-Systeme speisen retrievte Chunks in das Context Window ein. Die Anzahl und Länge dieser Chunks beeinflussen Antwortqualität. Das Window begrenzt die maximal nutzbare Informationsmenge.

Beeinflusst Content-Struktur die Nutzung des Context Windows?

Ja, da kompakte und klar strukturierte Inhalte effizienter genutzt werden können. Redundante oder diffuse Texte verbrauchen unnötig Tokens. Struktur erhöht Informationsdichte pro Token.