Wenn eine KI Fragen zu Ihren eigenen Dokumenten beantworten soll – Verträge, Handbuch, Produktdokumentation – brauchen Sie mehr als ein Chatfenster. Der übliche Ansatz heißt Retrieval-Augmented Generation, meist zu RAG abgekürzt. Der Name ist schlimmer als die Idee.
Das Problem, das es löst
Ein Sprachmodell kennt, was es im Training aufgenommen hat. Ihre internen Dokumente kennt es nicht, und Fragen danach führen zu Erfindung statt Information.
Die naheliegende Lösung – die Dokumente in die Frage kopieren – funktioniert, bis die Dokumente das Fenster überschreiten, was bei jeder echten Sammlung sofort passiert.
Die Idee
Statt dem Modell alles zu geben, suchen Sie die für die Frage relevanten Teile und geben nur diese. Aus der Frage wird „hier sind vier Passagen aus unserer Dokumentation, antworte damit“ statt „was weißt du über unsere Rückgaberegelung“.
Die Aufgabe verschiebt sich von Erinnerung zu Leseverständnis, und darin sind diese Systeme deutlich besser.
Wie es funktioniert
Vorbereitung, einmalig. Dokumente werden in handhabbare Abschnitte zerlegt. Jeder Abschnitt wird in eine numerische Repräsentation überführt, die seine Bedeutung erfasst – ein Embedding. Diese werden in einem durchsuchbaren Index abgelegt.
Bei der Frage. Die Frage wird genauso umgewandelt. Das System sucht die gespeicherten Abschnitte, deren Repräsentation der Bedeutung am nächsten kommt, holt die besten davon und liefert sie mit der Frage mit. Das Modell antwortet aus diesem Material.
Die wichtige Eigenschaft ist, dass die Übereinstimmung über Bedeutung läuft, nicht über Wortlaut. Eine Frage nach „Ware zurückschicken“ kann einen Abschnitt „Rückgabe und Erstattung“ finden, ohne ein einziges Wort zu teilen.
Warum sich der Aufwand lohnt
Antworten sind in Ihren tatsächlichen Dokumenten verankert. Quellen lassen sich angeben, sodass eine Leserin eine Aussage prüfen kann, statt ihr zu vertrauen. Ein aktualisiertes Dokument aktualisiert die Antworten – kein Neutraining. Und Zugriffsrechte lassen sich beim Abruf anwenden, sodass Menschen nur Antworten aus Material bekommen, das sie sehen dürfen.
Der letzte Punkt wird leicht übersehen und ist wichtig. Ein gut gebautes System beantwortet die Frage eines normalen Mitarbeiters nicht mit der Gehaltstabelle.
Wo es schiefgeht
Der Abruf verfehlt. Wird die richtige Passage nicht geholt, ist die Antwort falsch oder fehlt – egal wie fähig das Modell ist. Die meisten Qualitätsprobleme in RAG-Systemen sind Abrufprobleme, keine Modellprobleme. Das überrascht alle, die annehmen, ein besseres Modell sei die Lösung.
Schlechte Zerlegung. Wird ein Abschnitt mitten in einer Argumentation geschnitten, fehlt den geholten Fragmenten der Kontext zur Deutung. Wie Dokumente zerlegt werden, hat großen Einfluss auf die Qualität und verdient bewusste Aufmerksamkeit.
Fragen über viele Dokumente hinweg. „Wie viele Verträge enthalten diese Klausel“ verlangt, alles zu lesen, nicht die besten paar zu holen. RAG passt zu gezielten Fragen, nicht zu vollständiger Auswertung.
Veraltete oder widersprüchliche Quellen. Existieren drei Fassungen einer Richtlinie, kann der Abruf die falsche liefern. Das System erbt den Zustand Ihrer Dokumentation – es repariert ihn nicht.
Was Sie dazu fragen sollten
Schlägt ein Anbieter diesen Ansatz vor, sind nützliche Fragen: Wie werden Dokumente zerlegt, was passiert, wenn nichts Relevantes gefunden wird, werden Quellen angegeben, wie werden Berechtigungen beim Abruf durchgesetzt, und wie schnell wirkt eine Dokumentänderung.
Die Antworten darauf sagen mehr über die Qualität des Systems als jede Aussage darüber, welches Modell darunter liegt.
