AI a zaujatost: když algoritmus není neutrální
AI akademie 17/24
Jedním z největších mýtů kolem umělé inteligence je představa, že algoritmy jsou objektivní a neutrální. Mnozí si myslí: „Stroj nemá předsudky, ten prostě počítá.“ Realita je ale jiná. AI není čistý list papíru – učí se z historických dat, a pokud jsou tato data zaujatá, předsudky se přenášejí i do rozhodování algoritmu. Někdy se dokonce zesilují.
Příklady z praxe jsou alarmující. Známý je případ náborového algoritmu, který měl pomoci vybírat nejlepší kandidáty. Protože byl natrénován na datech z minulosti, kdy firma upřednostňovala muže, začal diskriminovat ženy. Podobné problémy se objevily u systémů hodnocení rizikovosti klientů – lidé z určitých oblastí dostávali horší hodnocení, protože historická data ukazovala vyšší míru nesplacených půjček.
Proč k tomu dochází? Data odrážejí společnost takovou, jaká je, se všemi jejími nerovnostmi. Pokud v minulosti existovala diskriminace, bude ji AI věrně kopírovat. A jelikož algoritmy pracují rychle a ve velkém měřítku, dokáží tyto nerovnosti znásobit. Zatímco lidský předsudek se projeví v jednotlivci, strojový předsudek se může dotknout tisíců lidí najednou.
Dalším problémem je neviditelná zaujatost. U některých atributů je zjevné, že by neměly hrát roli – například pohlaví, rasa či věk. Ale předsudky se mohou schovávat i v nepřímých datech. Například poštovní směrovací číslo může nepřímo odrážet socioekonomický status obyvatel. Algoritmus pak diskriminuje, aniž by to bylo na první pohled vidět.
Co s tím mohou firmy dělat? Prvním krokem je audit dat – pečlivě zkoumat, z jakých zdrojů model čerpá a zda nejsou zkreslená. Druhým krokem je monitorování výsledků – pravidelně sledovat, zda systém nepřináší nečekané vzory diskriminace. Třetím krokem je diverzita týmů – pokud na vývoji AI pracují lidé s různými zkušenostmi a pohledy, je větší šance odhalit skryté předsudky.
Zároveň je nutné budovat pravidla vysvětlitelnosti. Pokud algoritmus zamítne žádost o půjčku, musí být možné říct proč. Jen tak lze odhalit, zda nejde o skrytou diskriminaci. V tomto směru se připravuje i legislativa – Evropská unie v rámci AI Act požaduje transparentnost zejména u vysoce rizikových aplikací.
Je důležité zdůraznit, že zaujatost AI není technická chyba, ale společenský problém odrážející historii. Algoritmus jen nastavuje zrcadlo. Pokud se nám nelíbí, co v něm vidíme, musíme řešit nejen technologii, ale i nerovnosti ve společnosti.
Mýtus o neutrálním stroji je nebezpečný právě proto, že dává falešný pocit spravedlnosti. Lídři musí chápat, že AI není objektivní rozhodčí. Je to nástroj, který může být spravedlivý jen tehdy, pokud s ním zacházíme odpovědně. To znamená investovat čas, lidi i prostředky do kontroly, vysvětlitelnosti a korekce zaujatosti.