Jede verantwortungsvolle KI-Einführung enthält eine menschliche Prüfung. Die meisten enthalten sie schlecht.
Ein Prüfschritt, den Menschen ungelesen durchklicken, ist schlechter als gar keiner, weil er den Anschein von Kontrolle erzeugt, ohne welche zu bieten – und weil er die Verantwortung auf jemanden verschiebt, der nie eine echte Chance hatte, den Fehler zu finden.
Warum Prüfschritte verfallen
Wenn ein System meistens richtig liegt, hören Prüfer auf, Fehler zu erwarten. Freigeben wird zum Reflex. Das ist keine Nachlässigkeit; es ist das vorhersehbare Ergebnis davon, einen Menschen nach etwas suchen zu lassen, das fast nie da ist.
Paradoxerweise verfällt der Prüfschritt umso schneller, je besser das System ist. Ein System, das zu neunundneunzig Prozent richtig liegt, hat innerhalb von Wochen Prüfer, die ohne Lesen freigeben – womit das eine Prozent ungeprüft durchgeht.
Machen Sie die Prüfung zu einer echten Aufgabe
Die Lösung ist, dem Prüfer etwas zu tun zu geben statt etwas freizugeben.
Statt „hier sind die extrahierten Rechnungsdaten, freigeben oder ablehnen“ zeigen Sie das Quelldokument neben den extrahierten Werten mit hervorgehobener Fundstelle und bitten den Prüfer, die drei wichtigsten Felder zu bestätigen. Jetzt führt er eine Prüfung durch statt ein Ergebnis zu autorisieren.
Wo möglich, verlangen Sie eine Handlung, die sich ohne Hinsehen nicht ausführen lässt – einen Wert eintragen, zwischen echten Alternativen wählen, die stützende Quelle markieren.
Steuern Sie nach Unsicherheit, nicht gleichmäßig
Alles gleich zu prüfen verwendet dieselbe Aufmerksamkeit auf das Offensichtliche wie auf das Zweifelhafte. Bessere Systeme unterscheiden.
Klare Fälle, die dem erwarteten Muster entsprechen, können mit leichter Kontrolle durchlaufen. Fälle, die ungewöhnlich, unvollständig oder hochwertig sind oder bei denen die Signale des Systems schwach sind, bekommen die volle Prüfung. Das konzentriert menschliche Aufmerksamkeit dorthin, wo sie das Ergebnis tatsächlich ändern kann, und hält die zu prüfende Menge klein genug, dass Prüfer wach bleiben.
Geben Sie Prüfern die Zeit
Ein Prüfschritt, der jemandem ohne eingeplante Zeit zugewiesen wird, wird in der verfügbaren Zeit erledigt – also sofort.
Wenn ein Prozess täglich sechzig Vorgänge zu je einer Minute erzeugt, ist das eine Stunde des Arbeitstags. Entweder steht sie in der Auslastung, oder die Prüfung ist fiktiv. Das ist eine Planungsentscheidung, kein Detail.
Schließen Sie den Kreis
Wenn ein Prüfer etwas korrigiert, sollte diese Korrektur irgendwohin gehen. Verschwindet sie, folgen drei Dinge: derselbe Fehler wiederholt sich, der Prüfer schließt daraus, dass Melden sinnlos ist, und Sie verlieren Ihr einziges Qualitätssignal aus dem Betrieb.
Sammeln Sie Korrekturen, sehen Sie sie regelmäßig durch und verbessern Sie damit das System. Sagen Sie den Prüfern dann, was sich geändert hat. Sichtbare Reaktion hält das Melden am Leben.
Messen Sie, ob es wirkt
Das lässt sich direkt testen. Schleusen Sie gelegentlich einen bekannten Fehler ein und sehen Sie, ob er gefunden wird. Kommt er regelmäßig durch, ist Ihr Prüfschritt dekorativ – und das sollten Sie wissen, bevor es ein Kunde entdeckt.
Das klingt konfrontativ, ist aber gewöhnliche Qualitätssicherung und deutlich freundlicher, als dieselbe Erkenntnis über einen Vorfall zu gewinnen.
Werden Sie bei der Verantwortung deutlich
Halten Sie schriftlich fest, wofür der Prüfer verantwortlich ist. Drei bestimmte Felder zu bestätigen ist eine Pflicht, die jemand erfüllen kann. „Das Ergebnis freigeben“ ist keine, und sie lädt dem Prüfer ein Risiko auf, das er nicht beherrschen kann.
