Technologie, finance & právo
Zamítnutá žádost o úvěr není důkazem diskriminace. Stejně tak ale nestačí tvrdit, že model je obchodní tajemství a proto jej nelze vysvětlit. Rozhodující je, jakou roli automatický výstup skutečně hrál, jaká data byla použita a zda člověk může dosáhnout smysluplného přezkumu.
1. Co lze doložit
Článek 22 GDPR upravuje rozhodnutí založená výhradně na automatizovaném zpracování, která mají právní nebo obdobně významný účinek. Při použitelné výjimce stanoví také ochranná opatření, včetně možnosti lidského zásahu a napadení rozhodnutí.[1]
Soudní dvůr EU ve věci SCHUFA rozhodl, že vytvoření pravděpodobnostního skóre může samo představovat automatizované rozhodování, pokud mu třetí strana přisuzuje rozhodující roli při uzavření nebo plnění smlouvy.[2]
Akt o umělé inteligenci řadí některé systémy pro posouzení úvěruschopnosti fyzických osob mezi vysoce rizikové. Z toho plynou povinnosti pro řízení rizik, data, dokumentaci, záznamy, informace a lidský dohled; nejde však o zákaz každého scoringu.[3]
2. Jak tvrzení číst v kontextu
Diskriminace může vzniknout i bez použití chráněné charakteristiky, pokud jiná proměnná funguje jako její zástupný signál. To je známý mechanismus rizika, nikoli důkaz, že se objevil v konkrétním modelu. Ten vyžaduje audit dat, chybovosti a dopadu na skupiny.
Smysluplné vysvětlení nemusí zveřejnit zdrojový kód ani celý model. Musí však člověku umožnit pochopit hlavní logiku a rozhodné okolnosti natolik, aby mohl opravit chybná data nebo výsledek napadnout.
Formální lidské potvrzení není automaticky skutečným dohledem. Pokud pracovník nemá informace, čas nebo pravomoc verdikt změnit, může jít jen o razítko automatického výstupu.
- Evropské právo automatizovaný úvěrový proces nenechává bez pravidel.
- Rozhodující je skutečný vliv skóre, ne jen název interního procesu.
- Vysoce riziková klasifikace znamená povinnosti, nikoli automatickou nezákonnost.
- Proměnné a tréninková data konkrétního bankovního modelu.
- Rozdíly v chybovosti mezi skupinami bez auditních výsledků.
- Zda lidský přezkum u konkrétní instituce dokáže rozhodnutí reálně změnit.
3. Pět kontrolních otázek
- Bylo rozhodnutí výhradně nebo fakticky určeno skóre?
- Která data může žadatel zkontrolovat a opravit?
- Jak vypadá lidský přezkum a kdo má pravomoc verdikt změnit?
- Jak instituce testuje rozdílný dopad na skupiny?
- Je vysvětlení dostatečné k účinnému napadení rozhodnutí?
4. Závěr
Algoritmický scoring není automaticky spravedlivý ani automaticky zakázaný. Důvěryhodnost vzniká teprve z přezkoumatelných dat, skutečného lidského zásahu a možnosti opravit chybu, která člověku zavřela cestu k úvěru.
— Jiný Kontext