Technologie, Finanzen & Recht
Ein abgelehnter Kreditantrag ist kein Beweis für Diskriminierung. Ebenso wenig genügt jedoch die Behauptung, das Modell sei ein Geschäftsgeheimnis und könne deshalb nicht erklärt werden. Entscheidend ist, welche Rolle das automatisierte Ergebnis tatsächlich gespielt hat, welche Daten verwendet wurden und ob eine Person eine sinnvolle Überprüfung erreichen kann.
1. Was sich belegen lässt
Artikel 22 der DSGVO regelt Entscheidungen, die ausschließlich auf einer automatisierten Verarbeitung beruhen und rechtliche oder ähnlich erhebliche Auswirkungen haben. Wird eine anwendbare Ausnahme genutzt, sieht er außerdem Schutzmaßnahmen vor, darunter die Möglichkeit menschlichen Eingreifens und die Anfechtung der Entscheidung.[1]
Der Gerichtshof der Europäischen Union entschied im Fall SCHUFA, dass die Erstellung eines Wahrscheinlichkeitswerts selbst eine automatisierte Entscheidung darstellen kann, wenn ein Dritter diesem Wert beim Abschluss oder bei der Erfüllung eines Vertrags eine maßgebliche Rolle beimisst.[2]
Die Verordnung über künstliche Intelligenz stuft bestimmte Systeme zur Bewertung der Kreditwürdigkeit natürlicher Personen als Hochrisikosysteme ein. Daraus folgen Pflichten für Risikomanagement, Daten, Dokumentation, Protokollierung, Informationen und menschliche Aufsicht; ein Verbot jeglichen Scorings ist damit jedoch nicht verbunden.[3]
2. Wie die Aussagen im Kontext einzuordnen sind
Diskriminierung kann auch ohne die Verwendung eines geschützten Merkmals entstehen, wenn eine andere Variable als dessen Ersatzsignal dient. Das ist ein bekannter Risikomechanismus, aber kein Beweis dafür, dass er in einem konkreten Modell aufgetreten ist. Dafür ist eine Prüfung der Daten, Fehlerquoten und Auswirkungen auf verschiedene Gruppen erforderlich.
Eine aussagekräftige Erklärung muss weder den Quellcode noch das gesamte Modell offenlegen. Sie muss einer Person jedoch ermöglichen, die wesentliche Logik und die entscheidenden Umstände so weit zu verstehen, dass sie fehlerhafte Daten berichtigen oder das Ergebnis anfechten kann.
Eine formale menschliche Bestätigung ist nicht automatisch echte Aufsicht. Fehlen der zuständigen Person Informationen, Zeit oder die Befugnis, das Ergebnis zu ändern, kann sie lediglich den automatisierten Output absegnen.
- Das europäische Recht lässt automatisierte Kreditprozesse nicht ungeregelt.
- Entscheidend ist der tatsächliche Einfluss des Scores, nicht nur die Bezeichnung des internen Prozesses.
- Die Einstufung als Hochrisikosystem bedeutet Pflichten, nicht automatisch Rechtswidrigkeit.
- Die Variablen und Trainingsdaten des Modells einer konkreten Bank.
- Unterschiede bei den Fehlerquoten zwischen Gruppen ohne Prüfergebnisse.
- Ob die menschliche Überprüfung bei einem konkreten Institut die Entscheidung tatsächlich ändern kann.
3. Fünf Kontrollfragen
- Wurde die Entscheidung ausschließlich oder faktisch durch den Score bestimmt?
- Welche Daten kann der Antragsteller prüfen und berichtigen?
- Wie läuft die menschliche Überprüfung ab, und wer darf das Ergebnis ändern?
- Wie prüft das Institut unterschiedliche Auswirkungen auf verschiedene Gruppen?
- Reicht die Erklärung aus, um die Entscheidung wirksam anzufechten?
4. Fazit
Algorithmisches Scoring ist weder automatisch fair noch automatisch verboten. Vertrauenswürdig wird es erst durch überprüfbare Daten, echtes menschliches Eingreifen und die Möglichkeit, einen Fehler zu berichtigen, der einem Menschen den Zugang zu einem Kredit versperrt hat.
— Jiný Kontext