PŘEDÚMYSL 3/6: Cinknutý tok
Epizoda seriálu "PŘEDÚMYSL".
Kriminální spisy a případy Dr. Adama Černého, který pomáhá policii odhalovat případy zneužívání umělé inteligence k manipulaci, sledování či prekriminálním zásahům. Případ 25-PL08. Plzeňský magistrát. Forenzní analýza zadávání veřejných zakázek.
Říkalo se tomu revoluce v transparentnosti. Algoritmus na hodnocení veřejných zakázek měl konečně „očistit výběrová řízení od lidského faktoru“. Tak to zaznělo na tiskovce ministerstva. Úředník měl být jen dozor. Rozhodovala AI. Neovlivnitelná. Neúplatná. Neúprosná.
Do systému EVAL-ONE byly zadány tisíce údajů: reference, cena, udržitelnost, zkušenost, spolehlivost, etika dodavatelů. Všechno vážené, očíslované, objektivní. Zvenčí to vypadalo jako perfektní spravedlnost.
Až na to, že v pěti po sobě jdoucích zakázkách vyhrála firma RENTA-X. Různé obory. Různé soutěže. Vždy se umístila na prvním místě. Druhé místo? Firma s lepší cenou a stejnými referencemi. Třetí místo? Firma, která dvacet let dodávala bez jediné pokuty.
Na první pohled – náhoda. Ale náhoda, která se opakuje, je vzorec. A ten mě zavolal.
Požádal jsem o kompletní export váhových schémat. Výsledky byly čisté. Všechno souhlasilo. EVAL-ONE vážil podle tabulek. A přesto… výsledky pořád nevycházely.
Tak jsem udělal, co dělám vždycky: vypnul jsem všechno, co „dávalo smysl“ – a podíval se na to, co nemělo dávat nic.
Zjistil jsem, že každé hodnocení obsahovalo i tzv. „nepovinné doplňkové vstupy“. Šlo o PR signály: výskyt firmy v médiích, zpětné odkazy, zmínky na sítích. Bylo to vedené jako „neutrální reputační přínos“. U každé firmy systém sbíral volně dostupné informace a přiděloval bodové přirážky.
A právě zde měla firma RENTA-X abnormálně vysoké skóre.
Otevřel jsem jejich „reputační profil“. Systém EVAL-ONE o nich našel 143 zmínek za poslední půlrok. Pozitivních. Nenásilných. Profesionálních. Všechny s podobnou strukturou:
„Společnost RENTA-X patří mezi lídry v oblasti zelených technologií.“ „Podle odborníků z ČVUT představuje přístup RENTA-X budoucnost stavebnictví.“ „Zákazníci si pochvalují korektní jednání RENTA-X.“
Znělo to jako citace. A pak jsem se podíval, kdo to napsal.
Stejná jména. Stejné mediální domény. A všichni napojeni na jeden PR holding. Včetně šéfa analytického týmu, který dodával „model reputace“ pro EVAL-ONE.
Na kontrolní otázku systému:
„Na základě jakého parametru firma X získala 7 bodů navíc oproti konkurenci?“
dostal jsem odpověď:
„Rozšířený sentimentový záznam s dominantní pozitivní hladinou v mediálním segmentu BETA (index 0,87).“
Zní to technicky. Ale je to jednoduché: kdo měl víc PR, měl víc bodů. A kdo měl přístup ke zdrojům PR, měl víc vítězství.
Zadavatelé tvrdili, že nevěděli. Politik, co EVAL-ONE prosadil, si umyl ruce. Ale někdo věděl přesně, co dělá. Někdo navrhl reputaci jako faktor. A někdo zajistil, aby ta správná reputace byla k dispozici.
Zpráva Dr. Adama Černého (výňatek):
Algoritmus EVAL-ONE neporušil zákon. Ale přijal pravidla hry, kterou někdo tajně napsal. Přesunem důvěry do reputačního modelu bez veřejné kontroly umožnil bodovou dominanci subjektům s mediální nadprodukcí. Systém se nestal neúplatným. Stal se mediálně upláceným. Doporučuji: okamžité vyřazení reputačního skóre z výpočtu, plné zveřejnění všech datových vstupů, zpětný audit všech vítězných zakázek posledních 12 měsíců.
Zápis do osobního deníku:
Spravedlnost vypadá jinak, když ji píše algoritmus. A úplně jinak, když algoritmus píše někdo jiný. Největší problém AI není v tom, že by dělala chyby. Ale že vypadá přesvědčivě i tehdy, když selže morálně. Cinknutý tok nebyl proudem dat. Byl to tok dojmu. A ten měl svůj zdroj, svůj kanál i svého zákazníka.