PŘEDÚMYSL 5/6: Vyrovnaná hra

Epizoda seriálu "PŘEDÚMYSL".

Kriminální spisy a případy Dr. Adama Černého, který pomáhá policii odhalovat případy zneužívání umělé inteligence k manipulaci, sledování či prekriminálním zásahům. Případ 27-KV03. Karlovarský kraj. Odbor školství a digitalizace. Vyhodnocení odchylek v dotačním algoritmu.


Zavolali mě do kraje potichu. Nešlo o korupci. Ne přímo. Šlo o dotace na vyrovnání podmínek ve školství. Měl to být nástroj spravedlnosti. Víc peněz pro znevýhodněné školy, víc podpory tam, kde jsou děti bez zázemí.

Jenže právě tyto školy letos nedostaly skoro nic. V systému se objevily červené hodnoty, něco jako: „Nevyhovující poměr podpory ku výsledkům.“ A když se zřizovatelé odvolali, odpověď byla jednotná:

„Vaše škola nesplňuje doporučení modelu Edu-BAL.“ „Doporučujeme zaměřit se na zvyšování konkurenceschopnosti.“ „Efektivita poskytnuté podpory nebyla prokázána.“

To zní jako audit. Ale když se podíváš blíž, není tam žádný člověk. Jen AI, která přiděluje body podle „dynamického spravedlnostního skóre“. A právě to mě znepokojilo.

Edu-BAL byl projekt čtyř krajů a jednoho think-tanku. Cíl: modelovat spravedlivý přístup k rozdělování prostředků podle „potenciálu k růstu“. Krásná fráze. Ale co znamená? Jak změříš potenciál dětí, které ještě nedostaly šanci?

Základ modelu tvořil tříletý sběr dat: výsledky testů, docházka, hodnocení učitelů, anonymizované socioekonomické zázemí, chování žáků. A k tomu doplněná data z registrů: počet rozvodů v lokalitě, výskyt exekucí, kriminalita, počet žádostí o sociální dávky.

Model se tvářil neutrálně. Ale v reálu začal penalizovat školy s těžkým okolím. Ne za to, že selhávaly. Ale za to, že nepřekonávaly předpoklady.

Jinými slovy: pokud jsi nebyl zázračný, byl jsi „neefektivní“. A „neefektivní“ znamenalo: nedostaneš víc.

Navštívil jsem ZŠ Na Výsluní. Škola s dětmi z vyloučených lokalit. Učitelé, kteří denně suplují i roli psychologů, tlumočníků, rodičů. Výsledky? Slabší než průměr. Ale progres u některých dětí obrovský. Jenže pro algoritmus neviditelný.

Ptal jsem se ředitelky: „Kdo vám řekl, že jste neefektivní?“

Odpověděla: „Nikdo. Jen to tak vyšlo ve výsledku.“

A to je největší problém. Neviditelná byrokracie. Tváří se nestranně. Ale rozhoduje na základě dat, která si sama vybrala.

Zadáním testovacího profilu jsem zjistil, že Edu-BAL pracuje s modelem tzv. „spravedlivého návratu investice“. Pokud škola dostane podporu, očekává se, že výrazně překročí očekávaný vývoj. Pokud to neudělá, skóre klesá. A příště dostane míň.

Problém je, že „očekávaný vývoj“ byl založený na školách s výhodným složením – homogenní kolektiv, klidná lokalita, nulová migrace. Jinými slovy: kdo měl těžký terén, byl vždy pod průměrem. A systém to bral jako vinu.

Systém vyrovnával jen papírově. Reálně vytvářel dvourychlostní školství.

Závěrečná zpráva Dr. Adama Černého (výňatek):

Model Edu-BAL vykazuje strukturální bias. Místo aby kompenzoval znevýhodnění, penalizuje ho v druhé iteraci. Školy s obtížným prostředím mají horší vstupní pozici i horší predikci vývoje – a to se stává základem pro „neefektivitu“. Doporučuji: okamžité pozastavení přidělování podle Edu-BAL, revizi modelu s důrazem na „etickou metriku“, zapojení lidské zpětné vazby z terénu.

Zápis do osobního deníku:

Algoritmus chtěl vyrovnat hru. Ale místo rovnosti podmínek zavedl rovnost očekávání – a to je past. Dítě, které bojuje, se počítá stejně jako to, které má náskok. A když nedojde stejně daleko, je „selháním“. Vyrovnaná hra není hra, ve které vyhrají všichni. Ale ve které každý smí začít z jiného místa – a nikdo ho za to neodstaví.

  • Sdílet: