Jemand lädt einen neunzigseitigen Vertrag hoch, stellt eine Frage zum letzten Abschnitt und bekommt eine Antwort, die ihn vollständig ignoriert – oder einen Fehler. An diesem Punkt begegnen die meisten Menschen zum ersten Mal Tokens und Kontextfenstern, und es lohnt sich, das vorher zu verstehen.
Tokens
Sprachmodelle lesen keine Buchstaben und keine Wörter. Text wird in Tokens zerlegt: häufige Wörter sind meist ein einzelnes Token, längere oder ungewöhnliche zerfallen in mehrere, und Satzzeichen und Leerzeichen zählen ebenfalls.
Eine brauchbare Faustregel für Englisch ist, dass ein Token im Mittel etwa drei Viertel eines Wortes entspricht. Deutsch ist meist weniger effizient, weil zusammengesetzte Substantive in Teile zerfallen – derselbe Text kostet auf Deutsch typischerweise mehr Tokens als auf Englisch. Das zählt sowohl für Kosten als auch für Kapazität.
Das Kontextfenster
Das Kontextfenster ist die Gesamtmenge an Text, die das Modell gleichzeitig im Blick haben kann. Es umfasst alles: Ihre Anweisungen, gelieferte Dokumente, das bisherige Gespräch und die gerade entstehende Antwort.
Es ist eine harte Grenze, keine Präferenz. Überschreitung bedeutet, dass etwas wegfällt oder die Anfrage abgelehnt wird – was davon passiert, hängt vom System ab. Deshalb zeigt sich derselbe Fehler mal als Fehlermeldung und mal als Antwort, die still die Hälfte Ihres Dokuments ignoriert.
Warum lange Gespräche nachlassen
Jeder Austausch vergrößert den angesammelten Kontext. In einem langen Gespräch fallen frühe Nachrichten irgendwann aus dem Fenster. Das System kündigt das nicht an. Es weiß einfach nicht mehr, was Sie am Anfang vereinbart haben, was sich anfühlt, als „vergesse“ es oder werde inkonsistent.
Praktisch heißt das: Für eine neue Aufgabe ein neues Gespräch beginnen und wichtige Vorgaben wiederholen, statt anzunehmen, sie seien noch im Blick.
Größere Fenster sind nicht die ganze Antwort
Moderne Modelle bieten große Fenster, und es liegt nahe zu schließen, das Problem sei gelöst. Zwei Gründe, warum nicht.
Erstens skalieren die Kosten mit dem, was Sie senden. Eine ganze Dokumentenbibliothek bei jeder Anfrage mitzuschicken ist teuer und redundant.
Zweitens, und wichtiger: Die Leistung ist über einen sehr langen Kontext nicht gleichmäßig. Material in der Mitte eines großen Textkörpers wird tendenziell weniger zuverlässig verwendet als Material am Anfang oder Ende. Das Fenster zu füllen ist nicht dasselbe, als würde das Modell alles gleich beachten.
Der bessere Weg
Statt alles zu liefern und zu hoffen, finden Sie zuerst die relevanten Teile und liefern nur diese. Genau das tun abrufbasierte Systeme: Dokumente werden in Abschnitte zerlegt, indexiert, und die zur Frage passenden Abschnitte werden geholt und mitgeschickt.
Das Ergebnis ist billiger, genauer und skaliert über jede Fenstergröße hinaus – weil Sie fünf relevante Seiten senden statt neunhundert überwiegend irrelevanter.
Was das in der Praxis bedeutet
Wenn Sie ein System prüfen, das lange Dokumente verarbeiten soll, fragen Sie, wie es mit Material umgeht, das das Fenster überschreitet. „Wir nutzen ein Modell mit großem Kontext“ ist eine schwächere Antwort als eine Beschreibung, wie relevante Abschnitte gefunden werden.
Und wenn Sie eine Chat-Assistenz für eine größere Aufgabe nutzen, halten Sie Gespräche fokussiert, wiederholen Sie das Wesentliche und werden Sie misstrauisch, wenn eine Assistenz den Auftrag still vergessen zu haben scheint.
