PŘEDÚMYSL 1/6: Sběrný dvůr

Měli to být „jen kamery“. Inovativní. Neutrální. Technologická páteř bezpečnějšího města. Tak to stálo v propagační brožuře magistrátu: „VISION-X – digitální zrak pro digitální věk“.

Realita byla o poznání méně poetická. Tisíc záznamových bodů po celém Plzeňském kraji. Systém pro detekci obličejů, sledování trajektorií pohybu a predikci „potenciálně odchylkového chování“. Výsledky šly přímo na městskou policii. Pochopitelně anonymizované. Alespoň podle smlouvy.

Do Plzně mě zavolali poté, co jeden mladý analytik z krajského oddělení IT bezpečnosti odmítl podepsat revizní protokol. Tvrdil, že systém generuje „nedefinované profily s příznakem sledovanosti“, které neodpovídají žádné zákonné kategorizaci. Záznamy prý začaly označovat běžné občany jako „monitorované objekty třídy I+“, aniž by tito lidé porušili zákon nebo byli v evidenci trestní činnosti.

První věc, kterou jsem udělal, bylo otevření datového panelu VISION-X. Na první pohled – perfektní UI, robustní zabezpečení, logické třídění. A pak jsem si všiml seznamu: „sledované priority (anonymní hash ID) – prediktivní přítomnost: vysoká“. To samo o sobě nemusí nic znamenat. Ale když jsem začal porovnávat tyto hashované ID s veřejně dostupnými profily lidí na protestních akcích – objevila se shoda v lokalitě, času a fyzickém vzhledu. Někteří z těchto „podezřelých“ byli opakovaně zachyceni třeba jen při běžné cestě do práce přes náměstí, kde probíhal dřívější pochod.

Když jsem požádal o výpis vstupních dat, zjistil jsem, že algoritmus byl trénován na tzv. „volně přístupném obrazovém fondu“, což je zástěrka pro masivní scraping fotek z veřejných profilů, kamer MHD a školních záznamů. Data byla anonymizována – ale jen technicky. Eticky a právně nikoliv.

„Oni přece jen optimalizovali chování systému,“ řekl mi technik z dispečinku, když jsem se vyptával na to, proč AI označuje některé tváře opakovaně. „Byla tam chyba v modelu, tak se přeučoval. Detekoval vzory pohybu, které se nejčastěji objevují při akcích, kde hrozí veřejné narušení klidu.“ V překladu: AI si začala spojovat určité lidi s určitou „nepohodlností“. Ne že by něco spáchali. Ale že prostě chodili na místa, kde se občas něco děje.

A právě to byl problém.

Po dvou dnech analýzy jsem narazil na interní žádost. Šlo o e-mail od bývalého náměstka primátora, dnes konzultanta společnosti BIOMETRA PLUS s.r.o., která měla systém na starosti. Citace:

„Zvažte možnost zařazení frekventně se vyskytujících objektů v zónách X, Y a Z do prioritní vrstvy. Předpoklad: skrytá síťová koordinace bez struktury. Doporučujeme algoritmické upřednostnění jejich trajektorií pro účely preventivní evaluace.“

Tedy přeloženo: Zaměřte se na ty, kteří jsou často vidět – ne proto, co dělají, ale kde jsou. A jak často.

V tom okamžiku už bylo jasné, že VISION-X není porouchaný. Naopak – fungoval přesně tak, jak ho někdo navedl.

Na seznamu „významných jedinců“ jsem našel třeba paní učitelku z gymnázia, která na demonstracích nikdy nemluvila, jen přinesla petici. Nebo rozvozce jídla, který jezdil trasu přes centrální náměstí. V systému měl poznámku: „lokálně fixní objekt s nepravidelným pohybovým vzorem v zóně s protestním potenciálem.“

Žádná z těchto osob neměla trestní minulost. Ani správní přestupek. Jen byly často vidět. A to podle systému stačilo k tomu, aby byly sledované.

Zpráva Dr. Adama Černého (výňatek):

Systém VISION-X nevykazuje známky technického selhání. Naopak – vykazuje vysokou přesnost při implementaci neetického zadání. Výběr „prioritních objektů“ neprobíhá na základě činů, ale frekvence výskytu v předem definovaných zónách. Jde o předsudečnou predikci. Tvář je považována za „příznak narušení“, nikoli za neutrální biometrický vstup. Doporučuji okamžité pozastavení provozu systému, provedení hloubkového auditu všech trénovacích dat, informování ÚOOÚ a podání trestního oznámení na neznámého pachatele.

Neveřejná poznámka do deníku:

Někdy není AI nebezpečná tím, co umí. Ale tím, komu věří. A ještě víc – kdo jí říká, co je „normální“. Ve VISION-X nešlo o chybu. Šlo o zrcadlo. A v něm byl obraz moci, která už nepotřebuje sledovat zločin. Stačí jí sledovat přítomnost. Stačí být někde příliš často. A jste podezřelí – před úmyslem.