PŘEDÚMYSL 6/6: Podmíněný zítřek
Epizoda seriálu "PŘEDÚMYSL".
Kriminální spisy a případy Dr. Adama Černého, který pomáhá policii odhalovat případy zneužívání umělé inteligence k manipulaci, sledování či prekriminálním zásahům. Případ 28-PR01. Hlavní město Praha. Odbor strategického plánování. Interní systém prediktivní segmentace obyvatelstva.
Případ se ke mně dostal přes náhodu – nebo spíš přes příliš mnoho náhod. Tři mladí lidé. Různé obory. Různé ambice. A přesto měli něco společného: nedostali se tam, kam měli mít přístup.
Jedna odmítnutá žádost o městský stipendijní program, přestože žadatel splňoval kritéria.Druhá zamítnutá pozice v pilotním inovačním centru, s odůvodněním: „nevhodný prediktivní profil“.Třetí – zamítnutý přístup do komunálního startovacího bydlení, protože „chyběla socioekonomická perspektiva růstu“.
Nešlo o trest, nešlo o zákaz. Šlo o podmínku. A ta podmínka nebyla nikdy zveřejněna.
Prověřil jsem databázi CITIPROG, interního nástroje města pro „efektivní alokaci podpory a programů“. Byl to ambiciózní projekt: segmentovat občany podle „potenciálního přínosu společnosti“. Pomocník pro plánování, dotace, investice, školení.
V praxi to ale znamenalo, že každý občan měl vlastní „prediktivní profil rozvoje“ – a podle něj dostával, nebo nedostával přístup.
CITIPROG si nehrál na diskriminaci. Všechno bylo zabalené do jazyka efektivity. Ale právě to byl problém. Když jsem prošel vstupní data, zjistil jsem, že algoritmus bere v úvahu: vzdělání rodičů, bydliště (včetně nájemní smlouvy a energetického profilu budovy), výsledky z online testů, frekvenci využívání veřejných služeb, jazykovou složitost digitální komunikace, profil spotřeby z městské digitální peněženky.
A to všechno skládal do indexu „budoucí návratnosti podpory“. Výsledkem bylo číslo. Kdo měl nad 0,6 – doporučeno podpořit. Pod 0,4 – vyřazen. Mezi tím: sledování bez aktivace výhod.
Znamenalo to, že člověk nemusel nic pokazit. Stačilo se narodit s nesprávným indexem.
CITIPROG byl formálně prediktivní, ale prakticky pre-selekční. Odpojil občany dřív, než požádali. Přednastavil jejich šance. Neviditelně. Bez možnosti odvolání. Bez vědomí, že rozhodnutí už padlo.
Ptal jsem se správce systému: „Kdo má přístup ke svému indexu? “Odpověď: „Nikdo. Nechceme, aby to ovlivňovalo chování.“
A právě tím se to stalo totalitou. Ne kontrolou. Ale nemožností vědět, že jsi byl kontrolován.
Závěrečná zpráva Dr. Adama Černého (výňatek):
CITIPROG není nástrojem plánování. Stal se nástrojem rozhodnutí před rozhodnutím. Skryté klasifikační schéma ovlivňuje životní šance občanů bez jejich vědomí a bez možnosti interakce. Takové použití predikce je v rozporu s etickými i právními limity předvídací správy. Doporučuji:– okamžité pozastavení prediktivní segmentace,– povinnost informovat občana o použití jeho indexu,– vytvoření veřejně kontrolovatelného mechanismu oprav a výjimek.
Zápis do osobního deníku:
Zítřek se dá plánovat. Ale nesmí se přidělovat. Když AI rozhoduje, kdo má šanci – nedívá se na duši, ale na vzorec. A lidskost se do vzorců nevejde. Ne proto, že by nebyla měřitelná. Ale protože musí zůstat nepředvídatelná. Jinak ztratí smysl.