Eine Entscheidung über den Kredit in zwei Sekunden verbindet mehrere unterschiedliche Aufgaben: die Prüfung der Daten, die Schätzung des Risikos, die rechtliche Beurteilung der Kreditwürdigkeit und die Mitteilung des Ergebnisses an den Antragsteller. Ein präzises Modell kann auf fehlerhaften Eingabedaten beruhen, und ein niedriger Anteil notleidender Kredite sagt nichts über die Menschen, die das System im Voraus abgelehnt hat.
Was wir wissen: Der Anbieter muss die Kreditwürdigkeit anhand notwendiger, zuverlässiger, ausreichender und angemessener Informationen beurteilen. Automatisierte Entscheidungen können der DSGVO unterliegen, und manche Systeme zur Bewertung der Kreditwürdigkeit fallen in das Hochrisikoregime des KI-Gesetzes.
Was wir nicht wissen: Öffentliche Quellen zeigen keine vollständige Liste der Variablen, Schwellen oder Regeln der menschlichen Überprüfung einzelner tschechischer Anbieter. Die Verwendung von Adresse, Gerät oder Geolokalisierung lässt sich deshalb nicht dem gesamten Markt zuschreiben.
1. Ein Score, der noch keine Gerechtigkeit ist
Stellen wir uns eine Sitzung in einer mittelgroßen tschechischen Bank vor. Der Retail-Leiter will die Genehmigung eines Verbraucherkredits unter zwei Minuten drücken, weil die Konkurrenz das schon tut. Der Risikomanager besteht auf dem Modell, das auf historischen Daten den zwölfmonatigen Default am besten vorhersagt. Compliance erinnert an Artikel 22 DSGVO, das Antidiskriminierungsgesetz und den europäischen Rechtsakt über künstliche Intelligenz. Die IT will Open Banking anbinden, weil die Bewegung auf dem Konto mehr sagt als der Lohnzettel. Das Marketing verspricht eine Genehmigung beim ersten Klick. Der Kunde, der nicht im Raum ist, will wissen, warum er ein Nein bekommen hat.
Auf den ersten Blick ist das ein Streit um Geschwindigkeit. In Wirklichkeit beschreibt jeder ein anderes Problem. Der Direktor vergleicht die Conversion der Anträge. Risiko den Verlust aus Nichtzahlung. Compliance die verfahrensmäßige Vertretbarkeit. Die IT die Verfügbarkeit der Daten. Der Kunde die Verständlichkeit eines Urteils, das ihm die Tür zu Wohnen, Auto oder Dachreparatur schließt.
Ein Modell kann den Default gut vorhersagen und dennoch bei der Begründung oder im Umgang mit einer fehlerhaften Angabe scheitern. Die Bewertung muss deshalb die Default-Prognose, die Qualität der Eingänge, das Risiko diskriminierender Proxys, die Möglichkeit der Korrektur, die Rechtsgrundlage der Automatisierung und die tatsächlich verfügbare menschliche Überprüfung trennen.
Es geht nicht um einen abstrakten Kampf zwischen Mensch und Maschine. Verglichen werden eine konkrete Prognose, eine Entscheidungsregel, die Erklärung gegenüber dem Antragsteller und der Weg zur Abhilfe; jeder Teil hat einen anderen Test.
Ein Modell ist keine Gerechtigkeit. Ein Score ist kein Charakter. Eine Schwelle ist kein Gesetz. Und die Geschwindigkeit der Entscheidung ist kein Beweis, dass die Entscheidung standhält.
— Jiný Kontext
2. Woraus ein Krediturteil entsteht
Wenn auf dem Bildschirm „genehmigt“ oder „abgelehnt“ erscheint, entsteht leicht der Eindruck, das Modell habe das Urteil gesprochen. Das Ergebnis entsteht jedoch gewöhnlich in einer Kette mehrerer Schichten. Jede kann die Qualität erhöhen, senken oder die Art des Fehlers ändern. Zwei Anbieter mit derselben Grundlage müssen deshalb nicht gleich entscheiden, und derselbe Anbieter kann sich nach Kanal, Produkt und danach unterscheiden, ob hinter der Schwelle noch ein Mensch sitzt.
Fünf Schichten eines Krediturteils
- Daten: Register, Konto und Formular; in manchen Systemen können Gerät, Geolokalisierung oder Open Banking hinzukommen. Ihre tatsächliche Verwendung ist beim konkreten Anbieter zu belegen.
- Modell: statistische oder maschinelle Prognose der Default-Wahrscheinlichkeit.
- Schwelle und Politik: ab welchem Score verliehen wird, zu welchem Satz, mit welcher Ausnahme.
- Berechtigungen und Kanal: was das System sehen, auslösen, schreiben und wem es das zeigen darf.
- Steuerung und Verantwortung: Audit, menschliche Überprüfung, Begründung, Berichtigung der Angaben, Reklamation.
In der Scoring-Kette erzeugt das Modell nur einen Teil des Ergebnisses. Die Anwendung kann vor dem Score eine Geschäftsregel einfügen, nach dem Score einen Zuschlag für den Kanal addieren, aktuell geltende regulatorische oder interne Verfügbarkeitsgrenzen anwenden und die Akte zur manuellen Genehmigung schicken. Dieselbe Zahl bedeutet in einem anderen Produkt einen anderen Satz. Derselbe Satz kann in einem anderen Monat eine andere Geschäftspolitik bedeuten.
Genau hier entsteht der erste Fehler der öffentlichen Debatte. Die Überschrift kündigt einen Kampf zwischen Mensch und KI an, vergleicht in Wirklichkeit aber zwei völlig andere Ketten: eine manuelle Akte mit unvollständigen Unterlagen und einen Automaten mit Tausenden von Variablen, von denen der Antragsteller drei sieht. Oder sie ändert umgekehrt nur das Marketingwort „KI“ und gibt eine alte logistische Regression als neue Intelligenz aus. Ein ehrlicher Vergleich muss nicht nur den Namen des Modells angeben, sondern auch Version, Kanal, verfügbare Daten, Schwelle, Zeitlimit und Art der Kontrolle.
Diese Schichtung ist kein akademisches Detail. Sie bestimmt, wohin man sich bei einem Versagen wendet. Wenn das Modell die Postleitzahl bestraft hat, liegt das Problem in den Daten und im Proxy. Wenn es die abendliche Absendezeit bestraft hat, liegt das Problem in der Telemetrie. Wenn es richtig bestraft hat, aber niemand das sagen konnte, liegt das Problem in der Begründungsschicht. Der Satz „der Algorithmus hat abgelehnt“ ist der Beginn der Diagnose, nicht ihr Ende.
Illustratives Schema: Dasselbe Modell kann bei anderer Schwelle, anderem Kanal und anderem Aufsichtsregime ein anderes menschliches Schicksal erzeugen.
3. Das beste System ist jenes, dessen Fehler Sie sich leisten können
Neben der Vorhersageleistung sind die Art des Fehlers, seine Feststellbarkeit und die Möglichkeit der Überprüfung zu beobachten. Einen ungünstigen Satz kann man manchmal durch Refinanzierung ändern. Eine unbegründete Ablehnung kann den Antragsteller aus dem weiteren Verfahren ausschließen und ihn zugleich aus den Statistiken der Kunden verbergen, denen der Kredit gewährt wurde.
NIST weist im Rahmen des Risikomanagements künstlicher Intelligenz darauf hin, dass Verzerrungen in den Daten, im Ziel, in der Schwelle und darin auftreten können, wen das System überhaupt misst. Das Risiko wächst nicht nur mit der Häufigkeit des Irrtums. Es wächst auch dann, wenn die professionelle Form des Urteils zu einem unverhältnismäßigen Vertrauen verleitet.[13]
| Art des Versagens | Wie es aussieht | Wie man es testet | Was den Schaden begrenzt |
|---|---|---|---|
| Proxy-Diskriminierung | Das Urteil bestraft Adresse, Gerät, Beschäftigungsverhältnis oder Zeit statt der Fähigkeit zu zahlen | Vergleich von Gruppen mit gleichem Einkommen; Ablation der Proxys | Verbot ausgewählter Merkmale, Disparitätsaudit, menschliche Überprüfung |
| Datenfehler | Veraltetes Einkommen, fremde Adresse, unberichtigtes Register | Auszug der verwendeten Angaben und Datum ihrer Gültigkeit | Recht auf Berichtigung, kurze Aufbewahrung, Eigentümer der Angabe |
| Intransparenz | „Internes Scoring“ ohne die maßgeblichen Faktoren | Ob der Antragsteller die Prämisse anfechten kann | Sinnvolle Begründung, Dokumentation für die Aufsicht |
| Schwellenfehler | Richtiger Score, willkürliche Grenze, Kanalausnahme | Derselbe Score in anderem Kanal und Monat | Schriftliche Politik, Verbot stiller Ausnahmen |
Damit verschiebt sich auch die Frage. Wir fragen nicht nur, welches System den Default im Durchschnitt getroffen hat. Wir fragen, welches System auf eine Weise versagt, die unser Verfahren auffängt. Das Risikoteam kann falsch positive Vorsicht tolerieren, weil sie den Verlust senkt. Der Antragsteller bezahlt diese Vorsicht mit einem geschlossenen Markt. Die Buchhaltung kann eine versteckte Änderung des Dezimalzeichens nicht tolerieren. Ein Kreditmodell kann eine versteckte Bestrafung eines Viertels nicht tolerieren, wenn die Gesellschaft behauptet, sie dürfe nicht diskriminieren.
Der AUC allein sagt nicht, ob der Antragsteller eine verständliche Begründung erhält, ob sich ein Eingang berichtigen lässt und ob begrenzte Proxys zu mittelbarer Diskriminierung führen. Eine etwas schwächere Prognose kann in einem konkreten Einsatz annehmbarer sein, wenn sie nachweislich wirksame Kontrollmechanismen hat.
4. Was der Anteil notleidender Kredite nicht zeigt
Marktkennzahlen sind nötig, weil sie einen Teil der Eindrücke durch eine wiederholbare Zahl ersetzen. Das Problem entsteht in dem Moment, in dem ein Prozent beginnt, die gesamte Fairness des Systems zu vertreten.
Nach der Bankenstatistik der Tschechischen Nationalbank erreichte das Volumen der an gebietsansässige Haushalte in Tschechien im Juni 2026 gewährten Kredite den Wert von 2 713 Milliarden Kč. Wohnkredite bildeten 2 081 Milliarden Kč, also 77 Prozent dieses Volumens. Verbraucherkredite erreichten 428 Milliarden Kč. Das Volumen notleidender Kredite verharrte bei 32,9 Milliarden Kč, und ihr Anteil am Gesamtvolumen blieb bei 1,2 Prozent.[2] Es geht um den Stand des Bankensektors zu einem Monat, nicht um die Summe aller Verträge in den Registern CBCB und NRKI und nicht um ein Audit der Fairness einzelner Modelle.
| Segment (ČNB, Juni 2026) | Volumen | Anmerkung |
|---|---|---|
| Kredite an gebietsansässige Haushalte | 2 713 Mrd. Kč | Bankenstatistik, nicht Register |
| Wohnkredite | 2 081 Mrd. Kč | 77 % des Volumens an Haushalte |
| Verbraucherkredite | 428 Mrd. Kč | Höchste monatliche Dynamik |
| Notleidende Kredite | 32,9 Mrd. Kč | Anteil 1,2 % |
Jeder Test enthält versteckte Entscheidungen. Wer ist in der Population? Nur Banken, oder auch nichtbankliche Anbieter? Wie lautet die Definition des Defaults und wie lang ist das beobachtete Fenster? Wie viele Anträge wurden vor Entstehung eines Vertrags abgelehnt? Die Antwort auf jede dieser Fragen kann die Bedeutung der Zahl ändern.
Fünf Angaben, ohne die der NPL-Anteil nur eine Werbezahl ist
- Die genaue Population der Verträge, der Zeitraum und die Quelle der Statistik.
- Die Definition des notleidenden Kredits und die Länge des Fensters.
- Der Anteil abgelehnter Anträge, die überhaupt nicht ins Portfolio eingetreten sind.
- Der Unterschied zwischen Gruppen mit gleichem Einkommen und anderer Datenspur.
- Der Anteil der Ablehnungen, die eine menschliche Überprüfung durchlaufen haben.
Bei einer großen Zahl von Anträgen kann Automatisierung Zeit und Kosten erheblich senken. Aus öffentlichen Statistiken lässt sich jedoch nicht ableiten, dass volle Automatisierung für jedes Produkt und jeden Antrag wirtschaftlich unvermeidlich sei. Die Portfoliostatistiken sehen zudem jene, die den Kredit erhalten haben, nicht alle Abgelehnten. Eine öffentliche Kennzahl hilft, die Größe des Marktes zu verstehen; die Fairness des Zugangs verlangt einen anderen Test.
5. Vergleichen wir Ketten, nicht das Maskottchen „KI“
Die Tabelle trennt Formular, Register, Modell und menschliche Überprüfung nach ihrer Rolle im Krediturteil. Zu jeder Schicht nennt sie den Kontext und das Versagen, das ein Test des konkreten Anbieters suchen soll. Der Stand der Modelle und Politiken ändert sich; entscheidend ist stets die aktuelle Konfiguration des jeweiligen Produkts.
| Schicht | Hauptarbeitslage | Was im Pilot zu prüfen ist | Typischer Grund der Wahl |
|---|---|---|---|
| Register (CBCB, NRKI, Solus) | Gemeinsames Gedächtnis der Verträge | Berichtigung des Eintrags, Alter der Angabe, Abdeckung | Verringerung der Informationsasymmetrie |
| Formular und Einkommen | Was der Antragsteller belegen kann | Gültigkeitsdatum, Individualisierung | Gesetzliche Kreditwürdigkeit |
| Open Banking | Bewegung auf dem Konto mit Einwilligung | Umfang der Posten, Aufbewahrung, Widerruf | Frischeres Bild der Zahlungsfähigkeit |
| Telemetrie | Art des Ausfüllens, Gerät, Zeit | Ob ein Mensch das Merkmal ohne Änderung der Raten ändern kann | Betrug und Impuls |
| Schwelle und Satz | Geschäftspolitik | Derselbe Score in einem anderen Kanal | Steuerung des Portfoliorisikos |
| Menschliche Überprüfung | Ausnahme und Reklamation | Ob ein Mensch Ja sagen darf | Hoher Preis des Fehlers |
Die Zeilen sind kein Urteil über die Qualität der Banken. Derselbe Anbieter bietet mehrere Produkte, Schwellen und Kanäle, und jedes davon kann sich innerhalb weniger Monate ändern. Die Karte soll einem anderen Fehler vorbeugen: dass eine Institution ein ausgezeichnetes Modell in einem Prozess kauft, der den konkreten Menschen nicht sieht, das Urteil nicht erklären kann oder es in eine Umgebung schließt, aus der man später nur schwer wieder herauskommt.
Wie das Schema zu lesen ist: Lage und Größe der Elemente drücken keinen Score aus. Das Diagramm trennt Eingangsdaten, Modell, Entscheidungsregel und Überprüfung.
6. Proxy: Das Verbot eines Merkmals ist kein Verbot der Information
Das Antidiskriminierungsgesetz verbietet in bestimmten Bereichen eine unterschiedliche Behandlung aus enumerierten Gründen; die Verwendung eines konkreten Merkmals oder seiner Ersatzvariablen ist im genauen rechtlichen und tatsächlichen Kontext zu beurteilen.[14] Ein Modell kann zudem aus anderen Daten eine Information ableiten, die mit einem geschützten Merkmal korreliert. Das Risiko wird als Proxy-Diskriminierung bezeichnet.[4]
Die Postleitzahl kann in konkreten Daten mit sozialem Status, Einkommen oder der Zusammensetzung des Viertels korrelieren. Die Art der Einkäufe, die Zeit der Transaktionen, der Sektor oder die Art des Beschäftigungsverhältnisses können als Proxy wirken und Unterschiede zwischen Gruppen erzeugen. Ob das tatsächlich geschieht und ob der Unterschied rechtlich zulässig ist, muss ein Test des konkreten Modells zeigen; dieser Artikel belegt nicht die Verwendung dieser Merkmale durch tschechische Banken.
Ein Modell kann beim Lernen aus historischen Daten bestehende Unterschiede reproduzieren oder verstärken, wenn Entwurf, Test und Aufsicht sie nicht auffangen. Das ist kein automatisches Ergebnis jedes Algorithmus und kein Beweis für die Absicht des Programmierers.[4][12]
Barocas und Selbst haben in der Studie Big Data's Disparate Impact gezeigt, dass ein diskriminierendes Ergebnis nicht aus böser Absicht des Programmierers entstehen muss. Es genügt, dass sich das Modell aus Daten lernt, die Ungleichheit bereits enthalten, und dass die Zielvariable — hier der Default — selbst sozial verzerrt ist.[4] Fuster, Goldsmith-Pinkham, Ramadorai und Walther haben auf Kreditmärkten gezeigt, dass der Übergang zum maschinellen Lernen die Vorhersagekraft erhöhen und zugleich die Unterschiede zwischen Gruppen vergrößern kann. Es handelt sich um Empirie eines konkreten Marktes und konkreter Modelle, nicht um den Beweis, dass jede tschechische Bank so entscheidet. Es zeigt jedoch, dass Genauigkeit und Gleichheit nicht dasselbe sind.[5]
Drei Tests der Proxy-Diskriminierung
Der erste ist ein Test vergleichbarer Fähigkeiten: Haben zwei Gruppen mit gleichem belegtem Einkommen, gleicher Zahlungshistorie und gleichem beantragtem Betrag dieselbe Chance auf Genehmigung? Der zweite ist ein Ablationstest: Ändert sich die Disparität, wenn wir Postleitzahl, Gerätetyp und Absendezeit aus dem Modell nehmen? Der dritte ist ein Substitutionstest: Wenn wir den Proxy entfernen, ersetzt ihn das Modell durch eine andere Variable, die dieselbe Information trägt? Ein Produkt, das „keine Rasse verwendet“, muss nicht fair sein. Es kann lediglich Adresse, Schule und Telefon verwenden.
Illustration, keine Reportage: Antragstellerin A, 32 Jahre, unbefristetes Arbeitsverhältnis, Nettolohn 42 000 Kč, Neubau im Zentrum, iPhone, Antrag in der Arbeitszeit, Kredit 300 000 Kč, Satz 5,9 Prozent in 90 Sekunden. Antragstellerin B, 32 Jahre, OSVČ mit Nettolohn 45 000 Kč fünf Jahre ohne Verzug, Platte an der Peripherie, älteres Notebook, Antrag am Abend, Ablehnung ohne Grund. Beide haben dieselbe Fähigkeit zu zahlen. Unterschiedlich ist die Datenspur. Wenn sich nach Entfernen von Postleitzahl und Gerät das Urteil angleicht, ging es nicht um Charakter. Es ging um einen Proxy.
7. Telemetrie: Tippgeschwindigkeit ist kein Charakter
Neben Registern und Einkommen können manche Systeme mit Verhaltensdaten über das Ausfüllen des Antrags arbeiten: Zeit auf der Seite, Zahl der Korrekturen, Gerät oder Zeitpunkt der Einreichung. Ob ein konkreter tschechischer Anbieter diese Daten erhebt und für das Krediturteil verwendet, muss gesondert belegt werden.
Ein Verhaltensmerkmal kann in Trainingsdaten mit Betrug oder Risiko korrelieren, aber die Korrelation selbst erklärt den Grund nicht. Eine abendliche Einreichung kann mit Schichtarbeit oder Pflege ebenso zusammenhängen wie mit finanzieller Not. Deshalb sind der Beitrag des Merkmals, Unterschiede zwischen Gruppen und die Möglichkeit der Korrektur zu messen.
Der Gerätetyp ist kein direktes Maß der Zahlungsfähigkeit. Er kann Nebeninformation über Einkommen, Alter oder digitales Verhalten tragen und zum Proxy werden. Die bloße Verwendung beweist jedoch noch keine Diskriminierung; entscheidend sind Daten, Gewicht des Merkmals, Zweck und Auswirkung auf vergleichbare Antragsteller.
Der Basler Ausschuss und verwandte Arbeiten der BIZ weisen darauf hin, dass maschinelles Lernen in Finanzdienstleistungen nicht nur die Genauigkeit ändert, sondern auch die Art, wie Institutionen ihre eigenen Entscheidungen verstehen. Je komplexer das Modell, desto größer ist die Lücke zwischen Vorhersagekraft und Erklärbarkeit.[1] Die Lücke ist nicht kosmetisch. Sie ist der Ort, an dem Verantwortung verloren geht.
Das praktische Minimum ist eine Karte der Telemetrie. Welche Verhaltensmerkmale verwendet das Modell tatsächlich? Welche erhebt es nur? Welche kann der Antragsteller ändern, ohne seine Fähigkeit zu zahlen zu ändern? Wenn sich ein Merkmal durch Tausch des Telefons ändern lässt, ist das kein Charakter. Es ist ein Kostüm.
8. Register: Das Gedächtnis des Marktes ist nicht das Gedächtnis des Menschen
CBCB, NRKI und Solus erfüllen eine nützliche Funktion: Sie verringern die Informationsasymmetrie zwischen Gläubiger und Schuldner.[3] Ohne sie würde ein Teil des Marktes im Dunkeln raten, und der Preis stiege für alle. Register sind jedoch nicht das Gedächtnis eines Menschen. Sie sind das Gedächtnis der Verträge, die der Markt über den Menschen geschlossen hat.
Das Gedächtnis hat Lücken. Ein Mensch, der nie um einen Kredit gebeten hat, hat eine dünne Spur. Eine dünne Spur liest das Modell oft als Risiko, obwohl sie Vorsicht bedeuten kann. Ein Mensch, der vor Jahren einen Streit mit dem Betreiber hatte, trägt die Marke länger, als seine gegenwärtige Zahlungsfähigkeit dauert. Ein Mensch, der rechtzeitig gezahlt hat, aber in einem anderen Regime — Ausland, Konto des Partners, Bargeld — „existiert“ im Register nicht.
Ein Fehler im Register ist besonders teuer, weil er sich ausbreitet. Ein schlechter Eintrag tritt in mehrere Modelle ein. Mehrere Modelle erzeugen mehrere Ablehnungen. Mehrere Ablehnungen verdünnen die künftige Spur. Es entsteht eine Schleife: Das schlechte Gedächtnis des Marktes wird zur schlechten Zukunft des Menschen.
Deshalb ist das Recht auf Berichtigung historischer Angaben eine praktische, keine zeremonielle Frage. Ein Antragsteller, der nicht weiß, was die Register über ihn behaupten, kann das Urteil nicht angreifen. Ein Antragsteller, der es weiß, aber keinen Kanal zur Berichtigung hat, greift eine Wand an. Das Verbraucherkreditgesetz verpflichtet den Anbieter, die Kreditwürdigkeit zu beurteilen; es verpflichtet ihn nicht, den Antragsteller in jedes Gewicht des Modells blicken zu lassen.[6] Die Lücke zwischen der Pflicht zu beurteilen und der Pflicht zu erklären ist genau der Ort, an dem Gerechtigkeit verloren geht.
Register sind deshalb nützlich als Infrastruktur zu verstehen. Infrastruktur braucht Audit, Aufbewahrungsfristen, Recht auf Berichtigung und einen verständlichen Auszug. Ohne das ist „internes Scoring“ nur ein höflicherer Name für ein fremdes Gedächtnis, das Sie nicht lesen dürfen.
9. DSGVO und SCHUFA: Eine Erklärung ist kein offener Code
Artikel 22 Abs. 1 DSGVO gibt der betroffenen Person das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, wenn sie rechtliche oder ähnlich erhebliche Wirkung entfaltet. Es handelt sich nicht um ein absolutes Verbot. Absatz 2 lässt die Notwendigkeit für den Abschluss oder die Erfüllung eines Vertrags, die Zulassung durch das Recht der Union oder eines Mitgliedstaats und die ausdrückliche Einwilligung zu. Bei vertraglicher Notwendigkeit und ausdrücklicher Einwilligung verlangt Absatz 3 zumindest die Möglichkeit menschlichen Eingreifens, der Darlegung des eigenen Standpunkts und der Anfechtung der Entscheidung; eine gesetzliche Ausnahme muss selbst geeignete Schutzmaßnahmen festlegen.[8] Der Gerichtshof der EU hat in der Sache C-634/21 (SCHUFA) abgeleitet, dass die Berechnung eines Scores selbst eine solche Entscheidung darstellen kann, wenn ihr ein Dritter bei der eigenen Entscheidung eine bestimmende Rolle beimisst.[7]
Das ist schärfer, als es klingt. Das Urteil muss kein Roboter mit Stempel sprechen. Es genügt, dass ein menschlicher Mitarbeiter den Score in der Praxis nur abschreibt. Das Gericht hat damit die Aufmerksamkeit vom Theater „wir haben einen Menschen in der Schleife“ auf die Frage verschoben, ob ein Mensch tatsächlich entscheidet. Es geht um die Auslegung einer Bestimmung zu einem Typ von Scoring, nicht um ein automatisches Verbot jedes Bankmodells in Tschechien. Es zeigt jedoch, wo das Recht die Entscheidung sucht: dort, wo der Score in der Praxis zum Urteil wird.
Der Europäische Datenschutzausschuss betont in den Leitlinien zur automatisierten Entscheidungsfindung eine sinnvolle Information über die verwendete Logik, die Bedeutung und die vorgesehenen Folgen.[16] Es muss sich nicht um einen Auszug aller Koeffizienten handeln, aber der Satz „internes Scoring“ allein ermöglicht gewöhnlich nicht, einen Eingang oder einen maßgeblichen Faktor anzufechten — etwa ein veraltetes Einkommen, eine fremde Adresse oder eine Variable mit unzulässiger diskriminierender Wirkung.
In der Praxis bleibt eine offene Frage: Wie erklärt man die Ausgabe eines nichtlinearen Modells so, dass sie für einen Laienantragsteller verständlich ist und zugleich kein Geschäftsgeheimnis preisgibt? Das ist kein Grund, die Erklärung aufzugeben. Es ist ein Grund, die Erklärung für den Menschen vom Audit für die Aufsicht zu trennen. Der Kunde braucht die maßgeblichen Faktoren und die Möglichkeit der Berichtigung. Die Aufsicht braucht Dokumentation, Disparitätstests und den Nachweis, dass Schwellenwerte nicht willkürlich sind.
10. KI-Gesetz: Hohes Risiko ist keine fertige Gerechtigkeit
Anhang III des KI-Gesetzes zählt zu den Hochrisiko-KI-Systemen solche, die zur Bewertung der Kreditwürdigkeit natürlicher Personen oder zur Festlegung ihres Kreditscores bestimmt sind; ausdrückliche Ausnahme sind Systeme zur Aufdeckung von Finanzbetrug.[9] Das Regime umfasst Anforderungen an Risikomanagement, Daten, Dokumentation, Protokollierung und menschliche Aufsicht. Artikel 26 legt den einsetzenden Stellen Pflichten nach ihrer Rolle und den Verwendungsbedingungen auf. Die genaue Anwendbarkeit auf ein bestimmtes System und Datum ist nach dem Zeitplan der Verordnung zu prüfen; Transparenz nach Artikel 50 ist kein Ersatz für das Regime der Hochrisikosysteme.[20][21]
Die Klassifikation ist eine Karte der Pflichten. Sie ist nicht automatisch Gerechtigkeit in der Filiale. Eine Bank kann Dokumentation haben und trotzdem die Postleitzahl bestrafen. Sie kann menschliche Aufsicht haben und den Menschen trotzdem nur „ich stimme zu“ klicken lassen. Sie kann Protokolle haben und sie dem Antragsteller trotzdem nicht zeigen.
Der Unterschied zwischen einem Verbraucherchat und einem Kreditmodell liegt genau im Preis des Fehlers. Einen schlechten Slogan kann man löschen. Eine schlechte Ablehnung der Hypothek schreibt sich in den Lebensweg. Deshalb genügt es nicht zu sagen „wir haben das KI-Gesetz“. Man muss sagen, welche Schicht der Kette unter Aufsicht steht, wer das Urteil zurücknehmen darf und wie gemessen wird, dass es auch Menschen zurückgegeben wird, die nicht der Durchschnitt des Portfolios sind.
Cathy O'Neil hat dieselbe Logik als skalierbares, intransparentes Modell beschrieben, das Menschen für die Statistik ihrer Umgebung bestraft und sich zugleich als neutrale Wissenschaft gibt.[12] Das Buch ist kein Audit einer tschechischen Bank. Es ist die Beschreibung eines Mechanismus, den das KI-Gesetz gerade deshalb unter die Hochrisikosysteme eingeordnet hat.
11. ČNB und EBA: Vorsicht ist keine individuelle Fairness
Die Europäische Bankenaufsichtsbehörde verlangt in ihren Leitlinien zur Kreditvergabe und -überwachung, dass Institute ihre Modelle verstehen, die Kreditwürdigkeit auf der Grundlage angemessener Informationen beurteilen und die Qualität neu entstehender Verträge beaufsichtigen.[10] Ziel ist, dass neue Kredite vorsichtig sind und dass die Praktiken mit dem Verbraucherschutz in Einklang gebracht werden.
Gesetz Nr. 257/2016 Slg. verpflichtet den Anbieter, die Kreditwürdigkeit auf der Grundlage notwendiger, zuverlässiger, ausreichender und angemessener Informationen zu beurteilen.[6][11] Bei Wohnkrediten ist zugleich zwischen aktuell wirksamen Maßnahmen der ČNB und internen Grenzen des Gläubigers zu trennen; LTV, DTI und DSTI dürfen ohne Datum der Wirksamkeit nicht als eine dauerhaft verbindliche Menge angeführt werden.[22]
Die Regulierung schützt damit den Markt vor einem systemischen Zusammenbruch und den Verbraucher vor einem Kredit, der ihn zerstört. Sie kann jedoch für sich genommen keine individuelle Gerechtigkeit bei jedem abgelehnten Antragsteller garantieren. Die prudenzielle Aufsicht sieht das Risiko im Portfolio. Die antidiskriminierende Logik sieht das Risiko in der Disparität zwischen Menschen mit derselben Fähigkeit zu zahlen. Beide Achsen sind legitim. Sie sind nicht austauschbar.
Die EBA weist in Diskussionen über maschinelles Lernen bei internen Ratingmodellen darauf hin, dass Komplexität die Institution nicht des Verstehens berauben darf.[18] Die OECD legt in Arbeiten zur künstlichen Intelligenz im Finanzwesen den Schwerpunkt auf Steuerung, Auditierbarkeit und menschliche Verantwortung, nicht auf ein Verbot der Prognose.[17] Der Finanzstabilitätsbericht der ČNB kartiert den Kreditzyklus und die Verwundbarkeiten der Haushalte; er misst nicht, ob ein Modell OSVČ für schwankendes Einkommen bestraft oder für tatsächliche Unfähigkeit zu zahlen.[19]
Die Leitplanken der Aufsicht sind also notwendig und unzureichend. Notwendig, weil der Markt ohne sie nur den Gewinn optimieren würde. Unzureichend, weil die systemische Gesundheit des Portfolios mit einer stillen Ungerechtigkeit am Eingang koexistieren kann.
12. Wozu die Begründung dient und wo sie nicht reicht
Vor der Pflicht zu erklären musste der Antragsteller prüfen, ob ihm die Bank überhaupt ein Nein sagt. Mit der Begründung prüft er etwas Komplexeres: ob die angeführten Faktoren existieren, ob sie die seinen sind, ob sie aktuell sind und ob sie tatsächlich das Urteil tragen, an das sie gehängt sind. Die Begründung ist Navigation zum Beweis. Sie ist kein automatischer Beweis.
Eine Ablehnung kann drei wahre Angaben zu einem unwahren Schluss kombinieren. Die erste beschreibt die Postleitzahl, die zweite OSVČ, die dritte die Abendzeit. Jede Angabe funktioniert, aber die Synthese bestraft die Umgebung, nicht die Fähigkeit zu zahlen. Andernorts verwendet das System ein qualitativ gutes Register, obwohl ein frischer Auszug verfügbar ist. Oder es zitiert ein Einkommen, das vor zwei Jahren galt.
Vierstufige Kontrolle der Begründung
- Existenz: Die angeführte Angabe ist tatsächlich in die Entscheidung eingegangen.
- Autorität: Die Angabe ist für die gegebene Behauptung primär, kein Proxy für ein verbotenes Merkmal.
- Stütze: Die konkrete Passage stützt tatsächlich das konkrete Nein.
- Umfang: Person, Zeitraum, Definition des Einkommens und Beschränkungen passen.
Bei der Erklärung einer Ablehnung wird zuerst eine Tabelle der maßgeblichen Faktoren, ihrer Quellen und Beschränkungen zusammengestellt. Der Text für den Kunden soll erst aus dieser Kontrolle entstehen. Eine nicht nachvollziehbare Angabe soll nicht nur deshalb zum Grund werden, weil das Modell sie überzeugend formuliert hat.
Ein Kreditsystem ist sicherer, wenn es den Weg zur Kontrolle verkürzt, nicht wenn es sie ersetzt. Bei Entscheidungen über Wohnen ist eine sinnvolle menschliche Überprüfung eine geeignete organisatorische Regel insbesondere bei streitigen oder hoch wirkenden Fällen; sie ist jedoch ohne Weiteres kein universeller Rechtsbefehl, dass ein Mensch stets das letzte Urteil sprechen müsse.
13. Privatsphäre ist kein Schalter. Sie ist der gesamte Datenfluss
Die Frage „wird mit meinen Daten trainiert?“ ist wichtig, aber zu eng. Antragsteller und Institution müssen auch wissen, wo Formulare und Auszüge gespeichert werden, wie lange, wer Zugang hat, ob Auditaufzeichnungen geführt werden, welche Dritten das Scoring verarbeiten und ob ein angeschlossenes Werkzeug Daten weiterleitet. „Wir verwenden sie nicht zum Training“ bedeutet nicht „wir bewahren nichts auf“ und nicht „kein Subunternehmer verarbeitet etwas“.
Die Unterschiede zwischen einem Verbraucherklick, einer Bankidentität und einer Open-Banking-Einwilligung sind in den Rechtstexten deutlich.[8][15] Daraus folgt nicht, dass jedes Unternehmensregime für jede sensible Angabe geeignet ist. Daraus folgt, dass Sicherheit nicht nach dem Logo ohne Namen des Produkts, Vertrag und Konfiguration beurteilt werden kann.
In der Europäischen Union kommt der Rahmen des KI-Gesetzes hinzu. Ein gewöhnlicher Chat für den Entwurf eines Slogans und ein System, das den Zugang zum Kredit beeinflusst, sind nicht dasselbe. Die konkrete Klassifikation erfordert eine rechtliche Beurteilung.[9][20]
Das praktische Minimum bildet eine Karte des Datenflusses. Sie beginnt beim Antragsteller, setzt sich über Formular, Register, Modell, Schwelle, Protokolle, Exporte fort und endet an dem Ort, an dem eine Angabe berichtigt, gelöscht oder ein Urteil zurückgenommen werden kann. Ohne diese Karte ist die Behauptung über Privatsphäre nur die Beschreibung eines Teils der Leitung.
14. Der Preis des Defaults ist der Preis des Rohstoffs, nicht der Preis des Urteils
Der Markt verwendet mehrere Preissprachen zugleich. Die Bank misst den Verlust aus Nichtzahlung. Das Marketing misst die Conversion. Der Kunde misst den Satz. Compliance misst die Geldbuße. Ein direkter Vergleich dieser Preislisten ohne Kenntnis des Arbeitsverfahrens täuscht deshalb.
Ein billiger Automat kann wirtschaftlich ausgezeichnet sein für die Klassifikation von einer Million kurzer Anträge auf ein kleines Limit. Derselbe Automat kann teuer sein bei einer Aufgabe, die er dreimal wiederholt, eine Open-Banking-Spur verbraucht und am Ende eine halbe Stunde menschlicher Korrektur verlangt — oder, was schlimmer ist, keine Korrektur, weil der abgelehnte Mensch verschwindet. Eine teure manuelle Akte kann für eine vorhersagbare Karte überflüssig sein. Sie kann jedoch bei einer einmaligen Entscheidung mit hohem Preis des Fehlers billiger sein, wenn sie die Zahl unsichtbarer Nein senkt.
Der tatsächliche Preis eines angenommenen Urteils
Modell + Daten + menschliche Vorgabe + Überprüfung + Preis des Defaults + Preis der falschen Ablehnung + Unmöglichkeit der Reklamation + künftige Abhängigkeit von einer Kette.
Ein Urteil ist erst dann billig, wenn es die Kontrolle passiert hat und sich tatsächlich verwenden lässt.
Zu den Kosten gehört auch das Schwanken. Wenn sich derselbe Antrag in einem anderen Kanal anders entscheidet, ist der durchschnittliche Preis des richtigen Ergebnisses nicht der Preis eines Laufs. Wenn das System das Limit der menschlichen Überprüfung mitten am Tag ausschöpft, sind die Kosten das Warten. Wenn Schwellen, Telemetrie und Automaten fest an eine Umgebung gebunden sind, sind die Kosten auch der künftige Abgang.
Deshalb ist es nützlich, den Preis auf das angenommene Urteil zu messen, nicht den Preis auf den Antrag. Angenommen bedeutet, dass das Ergebnis vorgegebene Kriterien erfüllt hat, die Kontrolle passiert hat und keinen Folgeschaden verursacht hat, den die Portfoliostatistik nicht sieht. Diese Metrik kann die Reihenfolge umkehren, die aus den NPL eindeutig erschien.
15. Was für welchen Antrag zu wählen ist
Ein Pilot soll mit der Beschreibung der Entscheidung, der Daten und des Kontrollmechanismus beginnen, nicht mit der Marke des Modells. Die Tabelle bestimmt, welche zwei Regime auf denselben Daten, mit denselben Antragstellern und mit demselben Zeitbudget für die Überprüfung zu vergleichen sind.
| Bedarf | Erste Gruppe der Kandidaten | Entscheidender Test | Unzulässige Abkürzung |
|---|---|---|---|
| Schnelles kleines Limit | Automat mit klarer Schwelle und Begründung | Wiederholbarkeit bei gleichen Anträgen | Geschwindigkeit mit Gerechtigkeit verwechseln |
| Wohnen und hoher Betrag | Automat mit dokumentierter sinnvoller menschlicher Überprüfung streitiger Fälle | Individualisierung des Einkommens, aktuelle Limits und Ausnahmen | Nur NPL des Portfolios beobachten |
| OSVČ und dünne Spur | Manuelle Akte mit Auszügen und Steuern | Ob Schwanken nicht automatisch Default ist | Die Form des Einkommens bestrafen |
| Fairness des Zugangs | Disparitätsaudit, Ablation der Proxys | Gleiches Einkommen, andere Adresse und Gerät | Der Satz „wir verwenden keine Rasse“ |
| Einhaltung von DSGVO und KI-Gesetz | Dokumentation, Protokoll, änderbares Urteil | Ob ein Mensch Ja sagen darf | Theater des Human-in-the-loop |
| Sensible Bewegung auf dem Konto | Enges Open Banking, kurze Aufbewahrung | Karte des Flusses und Widerruf der Einwilligung | Einwilligung als Blankoscheck |
Für die tschechische Verwendung ist ein gesonderter Test nötig. Eine ausländische Studie über Machine Learning bei Hypotheken misst nicht, ob das System die Bedeutung der Gewerbetätigkeit bewahrt, die Steuererklärung richtig liest, das Dezimalkomma unterscheidet, Elternzeit versteht oder die tschechische Postleitzahl nicht in eine nicht existierende Analogie übersetzt. Der Testdatensatz soll OSVČ, dünne Spur, Registerberichtigung und einen Antrag enthalten, in dem die richtige Antwort „die Angabe reicht nicht“ lautet.
Manche Institutionen brauchen am Ende mehrere Regime. Eines für das kleine Limit, ein zweites für Wohnen, ein drittes für Reklamationen. Das ist kein Versagen der Standardisierung. Es ist dieselbe Entscheidung wie die, ein anderes Werkzeug für die Buchhaltung und ein anderes für die Grafik zu verwenden. Bedingung ist, dass die Aufteilung verständlich ist, Daten nicht unkontrolliert übergehen und die Menschen wissen, wo die endgültige Autorität entsteht.
16. Ein zweiwöchiger Test, der mehr sagt als ein einziger AUC
Die Auswahl lässt sich ohne sechsmonatige Ausschreibung und ohne impulsiven Kauf durchführen. Ein kurzer, disziplinierter Pilot genügt. Sein Ziel ist nicht zu beweisen, dass der Kandidat etwas Eindrucksvolles kann. Ziel ist, Situationen zu finden, in denen er versagt, und festzustellen, ob die Organisation sie auffangen kann.
Vierzehn Tage vom Eindruck zur Entscheidung
- Tage 1–2: Schreiben Sie 20 bis 40 anonymisierte Anträge, ihre Häufigkeit, den Preis des Fehlers und die gegenwärtige Zeit auf.
- Tage 3–4: Bereiten Sie dieselben Eingänge, Pflichtpunkte und ein Bewertungsblatt vor. Eine Version mit Postleitzahl und Gerät, eine ohne sie.
- Tage 5–7: Wiederholen Sie jeden wichtigen Antrag mindestens dreimal und führen Sie ein Register der Urteile, Sätze und Begründungen.
- Tage 8–10: Prüfen Sie die Berichtigung der Angaben, menschliche Überprüfung, Export, Protokolle, Löschung der Open-Banking-Spur und die sichere Rückkehr.
- Tage 11–12: Berechnen Sie den Preis des angenommenen Urteils einschließlich Kontrolle und die Disparität zwischen vergleichbaren Gruppen.
- Tag 13: Stresstests: schlechtes Register, altes Einkommen, abendliche Absendung, älteres Gerät, verbotenes Merkmal.
- Tag 14: Entscheiden Sie nach der Matrix, dokumentieren Sie die Beschränkungen und setzen Sie das Datum der nächsten Überprüfung fest.
Was zu testen ist
Die erste Prüfung betrifft die Konsistenz zwischen den Kanälen. Derselbe Antrag vom Web, aus der App und aus der Filiale ist kein identisches Experiment, wenn sich Telemetrie und Berechtigungen unterscheiden. Die zweite betrifft die Schwelle: Das Marketingwort „sofortige Entscheidung“ kann Automatik nur bis zu einem bestimmten Betrag bedeuten. Die dritte betrifft die Daten. Open Banking, Register und Formular messen nicht dieselbe Person. Sie messen drei verschiedene Spuren desselben Menschen.
Der Bewerter sollte möglichst nicht wissen, welches Regime das Urteil erzeugt hat. Er beobachtet die sachliche Richtigkeit, die Vollständigkeit der Begründung und die Möglichkeit der Berichtigung. Jeder Misserfolg wird klassifiziert: Proxy, Daten, Intransparenz, Schwelle, Werkzeug oder Unterbrechung.
Der Pilot soll auch Ausschlussbedingungen haben. Zum Beispiel: eine einzige unangekündigte Bestrafung eines verbotenen Merkmals, nicht existierende Begründung, Unmöglichkeit der Registerberichtigung oder Unmöglichkeit, den Datensatz zu exportieren. Ein hoher durchschnittlicher AUC soll einen Fehler nicht übertrumpfen, dessen Auswirkung die Organisation nicht annehmen kann.
Das letzte Ergebnis ist nicht nur der Name des Modells. Es ist eine Betriebsregel: wozu Scoring verwendet wird, wozu nicht, welche Daten es sehen darf, was ein Mensch genehmigen muss, wie das Ergebnis überprüft wird und wann die Entscheidung erneut geöffnet wird. Modelle, Tarife und Bedingungen ändern sich. Ohne Datum der Revision verwandelt sich auch ein guter Pilot allmählich in einen Firmenaberglauben.
17. Open Banking: Die Einwilligung ist kein Blankoscheck
Die Zahlungsdiensterichtlinie ermöglicht dem Anbieter, die Bewegung auf dem Konto mit Einwilligung des Kunden zu sehen.[15] Das kann fairer sein als ein statischer Auszug. Es kann auch eine tiefere Sondierung der Privatsphäre sein: Miete, Apotheke, Unterhalt, Wetten, Spenden. Die Einwilligung zum Zugang zum Konto ist nicht die Einwilligung, dass jeder Posten ohne Begründung in eine Blackbox eintritt. Es ist die Einwilligung zu einem Datenfluss, der sich beschreiben lassen muss.
Zwei ähnliche Konten können ein anderes Datenregime haben. Ein Arbeitnehmer mit regelmäßigem Lohn sieht in Open Banking sauber aus. Eine OSVČ mit demselben Nettojahr sieht aus wie Rauschen. Ein Partner, der die Miete vom eigenen Konto zahlt, „existiert nicht“. Ein Mensch, der pflegt und unregelmäßige Leistungen hat, sieht riskanter aus, als er ist. Das System sieht Posten. Es sieht nicht den Haushalt.
Bevor das vollständig automatisierte Urteil eingeschaltet wird
- Trennen Sie die Ermittlung des Scores von der Handlung, die den Vertrag schließt oder ablehnt.
- Bestimmen Sie den Eigentümer jeder maßgeblichen Angabe und das Datum ihrer Gültigkeit.
- Führen Sie eine Schwelle ein, über der die Maschine nicht allein entscheiden darf: hoher Betrag, dünne Spur, Widerspruch in den Daten.
- Prüfen Sie, dass der Antragsteller sieht, aus welcher Quelle das Urteil geschöpft hat.
- Führen Sie eine Ausschlussbedingung ein: unberichtigbares Register, fehlende Begründung, stiller Proxy.
Der größte Wettbewerbsvorteil des Unternehmens-Scorings muss deshalb nicht das Modell sein. Es kann die Ordnung in den Daten sein. Und die größte Schwäche muss nicht die Halluzination sein. Es kann eine wahre Antwort sein, die auf einem Posten beruht, der vor zwei Jahren wahr war.
18. Die unsichtbare Ablehnung außerhalb der Portfoliostatistik
Die erste Generation des Kreditscores verkaufte Geschwindigkeit. Die nächste Genauigkeit. Heutige Produkte verkaufen etwas Größeres: einen Ort, an dem ein Mensch beantragt, belegt, wartet und ein Urteil über eine Lebenschance entgegennimmt. Deshalb konkurrieren Anbieter nicht nur um die beste Prognose. Sie konkurrieren um den Datenfluss. Um Open Banking, um Telemetrie, um die Gewohnheit, dass zwei Sekunden genügen.
Je bequemer das Ökosystem wird, desto höher kann der Preis des Abgangs sein. Schwellen lassen sich schwer exportieren, Automaten stützen sich auf proprietäre Merkmale, und die Menschen hören auf, das eigene Verfahren von dem Produkt zu unterscheiden, in dem sie es gebaut haben.
Das bedeutet nicht, dass Automatisierung schlecht ist. Gerade sie senkt oft die Willkür von Müdigkeit, Laune und Vorurteil eines konkreten Referenten. Es bedeutet, dass bewusst gekauft werden soll. Die Institution braucht eine übertragbare Begründung, ein Audit der Disparitäten, ein Recht auf Berichtigung, ein Notverfahren mit einem Menschen und einen regelmäßigen Test, ob die ursprünglichen Gründe des Modells noch gelten.
Der Default ist in den Kennzahlen notleidender Kredite und in den Wertberichtigungen sichtbar. Eine falsche Ablehnung erscheint im Portfolio der gewährten Kredite nicht. Wenn sich ein Modell überwiegend aus den Ergebnissen früher genehmigter Kunden lernt, entsteht das Risiko einer Auswahlverzerrung; die konkrete Auswirkung muss ein Audit der Daten und der abgelehnten Anträge belegen.
Das beste System ist also nicht jenes, das nie fehlt. Ein solches System haben wir heute nicht. Es ist auch nicht das System mit dem höchsten AUC, dem schnellsten Klick oder der längsten Liste von Variablen. Es ist das System, dessen Fähigkeiten der tatsächlichen Arbeit entsprechen und dessen Fehler sichtbar, umkehrbar und wirtschaftlich wie menschlich tragbar sind.
In dem Moment, in dem das Modell lediglich Akten ordnet, wählen wir einen Helfer. In dem Moment, in dem es das Konto liest, Quellen auswählt, die Schwelle setzt und selbst Nein sagt, wählen wir auch eine neue Struktur der Verantwortung. Und dann lautet die Frage nicht mehr: „Ist der Algorithmus genauer als der Mensch?“
Entscheidend ist, welchen Fehler wir rechtzeitig sehen, wer ihn überprüfen kann und wer den Preis der unsichtbaren Ablehnung trägt.
— Jiný Kontext