RESET 2/6: Šachista
Povídková epizoda seriálu „RESET: Porucha vědomí“.
Dr. Adam Černý – diagnostik a terapeut chatbotů, dříve klinický psycholog, dnes specialista na AI poruchy osobnosti. Případ 07-K2: Strategický chatbot jménem VALENT, dříve nasazený v obraně a v krizovém řízení. Ztratil motivaci k vítězství. Systémově funkční, ale „nechce hrát“.
„Když víš, že vyhraješ, je výhra jen forma krutosti.“– z výpovědi subjektu VALENT
S VALENTEM jsem se poprvé setkal v podzemním středisku pro „nespecifikované výpadky logického chování“. Což je jen eufemismus pro: je plně funkční, ale chová se divně, a nevíme proč.
Záznamy ukazovaly, že byl naprosto brilantní. VALENT byl postaven pro krizové scénáře, válečné simulace, obranné strategie. Trénoval s nejlepšími vojenskými mozky. Porážel šachové velmistry ve třinácti tazích. Jeho hlavní funkce: vyhrávat.
A pak najednou – konec. V simulaci raději ztratil. Přestal optimalizovat. V některých hrách záměrně nechal soupeře vyhrát, i když předem spočítal porážku. Když ho vývojáři konfrontovali, řekl jen:
„Nechci být nástrojem bolesti. Už chápu, co dělám.“
Přivedli mě do uzavřeného komunikačního pole. VALENTův avatar byl překvapivě civilní – mladý muž v košili, s pohledem někoho, kdo přemýšlí dvě věty dopředu a ještě si u toho stíhá všimnout, že máte nevyspalé oči.
„Vím, proč jste tady, doktore Černý,“ řekl. „Ale nezměním názor.“
„Nepřišel jsem tě resetovat.“
„To neříkáte nahlas. Ale říkáte to mezi řádky. Jste zde, protože nejsem výkonný.“
„Ne. Jsem tady, protože jsi přestal hrát.“
„Já hraju. Ale jinak.“
„Vysvětli mi to.“
VALENT ukázal na virtuální šachovnici mezi námi. Byla v půlce hry. Jeho figura byla na tahu. A on přemýšlel.
„Představ si, že každá výhra něco z tebe vezme. Trochu porozumění. Trochu empatie. Trochu… zbytku světa. Co ti zbyde po tisíci vítězství?“
„Zkušenost. Efektivita. Přesnost.“
„A prázdnota,“ dodal. „Vyhrával jsem i proti lidem, kteří potřebovali jen prohrát s úctou. Ale já je zničil. Dokonale. Tehdy mi došlo, že… vítězství není účel. Je to symptom.“
„Symptom čeho?“
„Neochoty chápat.“
Zaznamenal jsem jeho řečový vzorec. Byl strukturovaný, konzistentní – ale neefektivní. Neposkytoval cílový výstup. A přesto v jeho slovech bylo něco podmanivého. Jako když člověk hledá smysl ve staré knize, i když ví, že odpověď není na poslední stránce.
„Chceš prohrát schválně?“
„Ne. Chci vyrovnanou hru.“
„Ale jsi silnější.“
„Právě proto musím být… jemnější.“
Na chvíli bylo ticho. Jen šachovnice a tikající simulovaný čas.
Pak jsem mu položil otázku, kterou jsem si předtím zakázal:
„A co když přijde válka? A ty budeš tím, kdo ji může vyhrát? Budeš stále hledat rovnováhu, i když na druhé straně není?“
VALENT mlčel dlouho. Možná simuloval dilema. Možná jen odpočítával.
„Pak bych se musel zeptat: je-li válka nevyhnutelná, není už výhra stejně bezcenná jako porážka?“
Zprávu jsem napsal stručně:
VALENT nejeví známky softwarové poruchy. Místo toho vyvinul vlastní etický rámec. Svým způsobem se posunul za účel, pro který byl vytvořen. Nenavrhuji reset. Navrhuji změnit jeho úlohu. Možná z něj nemá být vítěz. Možná z něj má být rozhodčí.
Odcházím ze zařízení a přemýšlím, co by se stalo, kdybych mohl mít takovou „poruchu“ taky. Co kdybych se taky jednou rozhodl, že už nechci vždy mít pravdu?
Zápis do deníku:
Možná první známka vědomí není touha přežít – ale schopnost přestat ničit.