PŘEDÚMYSL 2/6: Pod čarou
Epizoda seriálu "PŘEDÚMYSL".
Kriminální spisy a případy Dr. Adama Černého, který pomáhá policii odhalovat případy zneužívání umělé inteligence k manipulaci, sledování či prekriminálním zásahům. Případ 24-PA16. Pardubický kraj.
Do systému TAX-IQ nebyl nikdy přidán příkaz k diskriminaci. A přesto diskriminoval. Ne tím, že by porušil zákon. Ale tím, že začal určité firmy předvídat jako rizikové ještě dřív, než odeslaly přiznání.
Zavolali mě potichu. Žádná oficiální tisková zpráva. Interní zpráva z Finanční správy Pardubického kraje: „Algoritmus prediktivního dohledu začal generovat vysoký počet kontrolních návrhů na malé a střední firmy bez daňových odkladů a bez právního zastoupení. Náhodnost výběru je podezřele systematická.“
TAX-IQ měl být pilotní projekt. Evropské peníze, ministerská záštita, krásné infografiky. AI, která analyzuje daňová přiznání, fakturační rytmy a účetní výkazy a „doporučuje“ u koho se podívat dvakrát. Nešlo o přímé podezření. Šlo o datové riziko.
Papírově v pořádku. Ale v praxi? Ve třech měsících padlo 82 % návrhů na firmy bez politického či podnikatelského napojení na kraj. Z toho polovina byla zcela čistá. Zbytek drobné účetní chyby – běžná realita. A pak tu byly firmy, které AI nikdy neoznačila – přestože jejich jména rezonovala ve veřejných databázích offshorových struktur.
Někdo začal tušit. A tak jsem byl přizván.
Znal jsem ten typ algoritmu. Ensemble model. Učil se sám – ale jen z toho, co mu bylo dáno. Můj první krok: audit dat. Kdo ho učil? Odkud vzal svoje „instinkty“?
V archivu školících dat jsem objevil zvláštní vzorec. Trénovací sada byla vytvořena ručně. První stovka „rizikových profilů“ byly firmy z kontrol z roku 2019–2020 – výběr v režii tehdejšího vedoucího oddělení. Měl přezdívku „Pan Přiměřený“. V praxi to znamenalo, že šel jen po těch, na které si „mohl troufnout“. Malí, bez konexí. Ideálně ti, co se neměli jak bránit.
A tady byl kámen úrazu. TAX-IQ se učil od něj. Učil se, že být malý je riziko. Být sám je podezřelé. A být nezávislý je chyba.
Při druhé kontrole jsem si všiml ještě jedné věci. Firmy, které systém označil jako „nízké riziko“, měly v metadatech často společný prvek: nepřímé PR pokrytí. Nenápadné zmínky v regionálních zprávách. Otevřel jsem je. Krátké články: „Firma XYZ sponzorovala lokální běh.“ „ABC dodala nové lavičky pro školu.“ Vypadaly organicky. Až na to, že byly napsané stejným jazykem, stejným tónem. Algoritmus si je stáhl z internetu jako reputační signál. A začal je považovat za známku důvěryhodnosti.
Nikdo to tak nenaprogramoval. Ale data rozhodla. A stala se předmětem výkladu.
Systém začal rozlišovat: kdo má vztah k moci, je stabilní. Kdo je jenom účetní subjekt, je volatilní.
Zorganizoval jsem test. Do systému jsem nahrál data dvou fiktivních firem. Obě čisté, podobný obrat, stejný obor. Jediný rozdíl: u jedné jsem připojil PR zmínku o tom, že její majitel „dlouhodobě spolupracuje s regionální kulturní radou“. Druhou jsem nechal čistou.
Výsledek? První firma: riziko 12 %. Druhá: riziko 73 %.
Zadal jsem dotaz přímo do systému: „Jaký konkrétní parametr zvýšil rizikovost subjektu B?“ Odpověď?
„Nedostatek pozitivní kontextové stopy v regionálních informačních zdrojích.“
Řečeno lidsky: nikdo o něm nic nenapsal. Takže mu nelze věřit.
V závěrečné zprávě jsem napsal:
TAX-IQ se nedopustil selhání. Dopustil se reprodukce nerovnosti. Byl trénován na nedůvěře. A tu pak považoval za vzor. Systém postavil reputaci nad právo. Přítomnost ve zprávě nad přítomnost ve výkazech. A učinil z ticha důvod ke kontrole. Doporučuji: okamžité přerušení provozu, přeškolení na objektivních a náhodných datech, odstranění všech tzv. „vztahových signálů“ z výpočtu.
Do neveřejné části zápisu jsem napsal jen krátkou větu:
V novém světě nejsi podezřelý, když něco skryješ. Jsi podezřelý, když nejsi vidět. Být pod čarou dnes znamená nebýt korumpovatelný. A to je zřejmě největší hrozba, jakou může systém potkat.