KI prüft KI: Warum Banken eine zweite Kontrollinstanz brauchen

Banken setzen generative KI zunehmend dort ein, wo Antworten schnell entstehen müssen: im Kundenservice, in der Dokumentenprüfung oder bei der Vorbereitung von Entscheidungen. Damit wächst ein neues Kontrollproblem. Eine fachlich plausible Formulierung kann falsch, unvollständig oder regelwidrig sein, ohne auf den ersten Blick aufzufallen. Stichproben nach der Auslieferung reichen dann nicht aus.

Hang Seng Bank erprobt deshalb im Hongkonger GenA.I. Sandbox++ ein Prinzip, das für Banken praktisch relevant ist: KI prüft KI. Ein unabhängiger Prüfer ersetzt weder Regeln noch Menschen. Richtig eingebettet kann er jedoch Fehler erkennen, bevor eine Antwort den Kunden erreicht oder ein Sachbearbeiter auf einer fehlerhaften Zusammenfassung aufbaut.

Zwei Piloten mit derselben Kontrollidee

Im Retailbanking soll ein „AI Judge“ Antworten eines generativen Service-Chatbots prüfen, bevor sie ausgeliefert werden. Die Kontrollinstanz bewertet laut der Beschreibung der beiden Hang-Seng-Piloten unter anderem Genauigkeit, Tonalität und Compliance. Sie prüft, hinterfragt und validiert damit den Output eines anderen KI-Systems.

Der zweite Pilot betrifft das kommerzielle Onboarding und die Due Diligence. Generative KI soll Geschäftsinformationen über mehrere Dimensionen prüfen, frühe Warnsignale erkennen und eine auditierbare Zusammenfassung erzeugen. Die finale Entscheidung bleibt beim Menschen. Gemeinsam ist beiden Fällen nicht maximale Autonomie, sondern eine zusätzliche Kontrollschicht zwischen Generierung und Wirkung.

Der institutionelle Rahmen ist wichtig. Sandbox++ wurde von Hongkongs Finanzaufsichten gemeinsam gestartet. Teilnehmende Institute erhalten gezielte aufsichtliche Begleitung, technische Unterstützung und Zugang zu Rechenressourcen in einer kontrollierten Umgebung, wie die Hong Kong Monetary Authority erläutert. Ein Pilot belegt noch keine Produktionsreife; er schafft aber einen Ort, an dem Nutzen und Kontrollgrenzen gemeinsam getestet werden können.

Das Vier-Schichten-Muster für die Praxis

Ein belastbares Design trennt vier Funktionen klar voneinander:

1. Generator: Das erste Modell formuliert eine Antwort, extrahiert Informationen oder erstellt eine Fallzusammenfassung. Es erhält nur die Daten und Werkzeuge, die für diese Aufgabe nötig sind.

2. Unabhängiger Evaluator: Ein zweites System bewertet den Output anhand definierter Kriterien wie Faktentreue, Vollständigkeit, zulässige Aussagen, Ton und Beleglage. Es liefert ein Ergebnis mit Gründen und Konfidenz, nicht bloß ein pauschales „bestanden“.

3. Deterministisches Policy Gate: Harte Regeln entscheiden, ob der Output freigegeben, blockiert oder eskaliert wird. Pflichtangaben, verbotene Formulierungen, Berechtigungen, Schwellenwerte und Datenklassifikationen gehören in nachvollziehbaren Code, nicht in das Ermessen eines Sprachmodells.

4. Menschliche Eskalation: Unklare, widersprüchliche oder folgenreiche Fälle gehen mit Kontext an qualifizierte Mitarbeitende. Der Mensch sieht Generator-Output, Prüfergebnis, angewandte Regel und relevante Quellen, statt den Fall neu zusammensetzen zu müssen.

Diese Trennung verhindert, dass ein einzelnes Modell zugleich produziert, sich selbst bewertet und die Freigabe erteilt. Sie passt auch zu der vom Financial Stability Board beschriebenen Richtung. Laut Reuters fordert der globale Standardsetzer klare Einsatzgrenzen, eingebettete Schutzmaßnahmen und menschliche Freigaben für risikoreiche Aktionen, etwa Finanztransaktionen oberhalb definierter Schwellen.

Der Evaluator ist kein Orakel

Ein zweites Modell kann denselben Irrtum teilen wie das erste. Das gilt besonders, wenn beide auf derselben Modellfamilie, denselben Daten oder ähnlich formulierten Prompts beruhen. Der Evaluator kann zudem überzeugende Fehler bevorzugen, seltene Kundensituationen übersehen oder durch manipulierte Eingaben beeinflusst werden. Ein grünes Signal ist deshalb Evidenz für eine Prüfung, keine Garantie für Richtigkeit.

Unabhängigkeit muss konkret definiert werden: getrennte Prompts und Rollen, eigene Versionierung, möglichst unterschiedliche Fehlerprofile sowie kein Zugriff des Generators auf die Bewertungslogik. Kalibrierung vergleicht Prüferurteile regelmäßig mit einem von Fachexperten bewerteten Referenzbestand. Dabei sind Fehlfreigaben und unnötige Eskalationen getrennt zu messen; ein Prüfer, der alles blockiert, ist sicher, aber operativ wertlos.

Auch die Schwelle darf nicht für alle Inhalte gleich sein. Eine allgemeine Produkterklärung kann bei geringer Unsicherheit erneut generiert werden; eine Aussage zu Gebühren, Berechtigung oder Verdachtsmomenten sollte strenger geprüft und früher eskaliert werden. Damit folgt die Bewertung dem möglichen Schaden, nicht nur einer abstrakten Modellgüte. Fachbereich und Kontrolle müssen diese Risikoklassen gemeinsam festlegen.

Aus Kontrolle wird erst durch Evidenz ein System

Jede Prüfung sollte protokollieren, welche Modell- und Promptversionen liefen, welche Quellen verfügbar waren, welche Kriterien angewandt wurden, welche Regel entschied und wer einen Fall übernahm. Für sensible Inhalte braucht es angemessene Aufbewahrung, Zugriffsschutz und Datenminimierung. Auditierbarkeit bedeutet nicht, jeden Prompt unbegrenzt zu speichern.

Vor dem Produktivstart sollte die Bank den Kontrollverbund adversarial testen: widersprüchliche Dokumente, fehlende Angaben, Prompt-Injection, irreführend sichere Formulierungen, Sprachwechsel und Grenzfälle aus Beschwerden oder Onboarding. Nach dem Start zählen laufendes Monitoring und Drift-Erkennung. Freigabequote, Fehlfreigaben, Eskalationsgründe, Bearbeitungszeit und Abweichungen zwischen Prüfer und Mensch zeigen, ob die Kontrolle weiterhin funktioniert.

Die zweite Instanz verschiebt menschliche Arbeit von flächiger Nachprüfung zu gezielter Entscheidung. Das ist nur dann ein Fortschritt, wenn Eskalationen rechtzeitig ankommen, Mitarbeitende echte Entscheidungsbefugnis besitzen und ihre Korrekturen zurück in Tests und Kalibrierung fließen. AI-vs-AI ist damit kein Ersatz für Verantwortung, sondern eine skalierbare Vorbereitung menschlicher Verantwortung.

Fünf Punkte zum Mitnehmen

1. KI-Outputs mit Kunden- oder Entscheidungswirkung benötigen eine Kontrollschicht vor der Auslieferung.

2. Generator, unabhängiger Evaluator, deterministisches Policy Gate und menschliche Eskalation sollten technisch getrennt sein.

3. Ein AI Judge kann irren; Unabhängigkeit, Kalibrierung und unterschiedliche Fehlerprofile sind deshalb unverzichtbar.

4. Versionen, Kriterien, Regeln, Quellen und menschliche Entscheidungen müssen nachvollziehbar protokolliert werden.

5. Adversarial Tests und laufendes Monitoring entscheiden, ob die Kontrolle auch nach Änderungen belastbar bleibt.

Illustration: KI-generiert. KI-gestützte Inhalte: Bei der Erstellung unserer Beiträge setzen wir KI-Technologien und automatisierte Agenten ein, unter anderem von Microsoft, Google, OpenAI, Anthropic und weiteren Anbietern. Themen, fachliche Ausrichtung und finale Freigabe liegen bei unserem Team.