Ein KI-System teilt Ihnen mit vollkommener Sicherheit mit, dass eine bestimmte Klausel auf Seite vier Ihres Vertrags steht. Sie steht dort nicht. Nichts am Ton der Antwort deutete auf Unsicherheit hin.
Das nennt man Halluzination, und zu verstehen, warum es passiert, ist die Voraussetzung dafür, darum herum zu bauen – was durchaus wirksam möglich ist.
Es ist keine Fehlfunktion
Der Reflex ist, das als Fehler zu sehen, der irgendwann behoben wird. Besser versteht man es als Folge des Mechanismus.
Das System erzeugt Text, indem es wahrscheinliche Fortsetzungen produziert. Wo es viel einschlägiges Material gesehen hat, ist die wahrscheinliche Fortsetzung meist zutreffend. Wo nicht, hält der Mechanismus nicht an – es gibt keine Komponente, die unzureichende Grundlage erkennt und stoppt. Er erzeugt weiter den plausibelst wirkenden Text, und plausibel wirkender Text über eine Vertragsklausel ist eine konkret klingende Aussage über eine Vertragsklausel.
Die Erfindung hat dieselbe Form wie die Wahrheit, weil sie vom selben Verfahren erzeugt wurde.
Warum die Selbstsicherheit
Man erwartet berechtigterweise, dass sich Unsicherheit zeigt. Aber die Abschwächungen in einer Antwort sind selbst erzeugter Text, vorhergesagt wie alles andere. Sie spiegeln, wie solche Sätze üblicherweise formuliert werden, nicht eine innere Einschätzung der Verlässlichkeit.
Selbstsichere Formulierung trägt also keine Information über Richtigkeit. Das ist das Wichtigste, was Mitarbeiter über diese Systeme wissen müssen – eine flüssige, bestimmte Antwort ist kein Beleg für irgendetwas.
Wann es am wahrscheinlichsten ist
- Konkrete Faktendetails – Zahlen, Daten, Namen, Quellenangaben, Paragrafenverweise. Genau hier ist Erfindung am überzeugendsten und am schädlichsten.
- Fragen mit falscher Prämisse. Fragen Sie nach einer Klausel, die es nicht gibt, und das System beschreibt sie oft, statt die Prämisse zu bestreiten.
- Nischenthemen, zu denen wenig Trainingsmaterial existierte.
- Lange Ausgaben, bei denen die Genauigkeit mit dem Abstand zum gelieferten Material weiter nachlässt.
- Alles nach dem Trainingsstichtag, worauf das System keinen Zugriff hat, worüber es aber trotzdem spricht.
Was es tatsächlich verringert
Liefern Sie das Quellmaterial mit. Mit Abstand die wirksamste Maßnahme. Eine Frage mit den relevanten Dokumenten zu stellen und anzuweisen, nur daraus zu antworten, verwandelt die Aufgabe von Erinnerung in Leseverständnis – wo die Leistung deutlich besser ist.
Verlangen Sie Belegstellen. Fragen Sie nach der Passage, aus der jede Aussage stammt. Das macht Prüfen schnell und unbelegte Behauptungen sichtbar.
Erlauben Sie ausdrücklich die Verweigerung. Weisen Sie an zu sagen, wenn die Antwort nicht im Material steht. Ohne Erlaubnis wird es etwas produzieren.
Halten Sie Ausgaben eng. Schmal umrissene Aufgaben halluzinieren weniger als ausufernde.
Lassen Sie es nie rechnen, wenn es zählt. Übergeben Sie die Rechnung an einen Rechner und nutzen Sie das Modell, um zu entscheiden, was gerechnet wird.
Was nicht funktioniert
Das System zu fragen, ob es sicher ist. Es wird eine selbstsichere Beruhigung produzieren, weil das die wahrscheinliche Fortsetzung dieser Frage ist. Selbstauskunft über Sicherheit ist keine Kontrolle.
Anzuweisen, nie etwas zu erfinden. Am Rand hilfreich, keine Lösung – es kann die Situation nicht zuverlässig genug erkennen, um sich daran zu halten.
Damit gestalten
Akzeptieren Sie, dass eine Restquote selbstsicherer Fehler eine Eigenschaft der Technik ist. Setzen Sie das System dann dorthin, wo das verkraftbar ist: Entwürfe, die ein Mensch prüft, klare Fälle bearbeiten und den Rest eskalieren, aus gelieferten Dokumenten arbeiten statt aus dem Gedächtnis.
So eingesetzt sind diese Systeme wirklich wertvoll. Als Autorität eingesetzt werden sie Sie irgendwann blamieren.
