ETIKA ZBRANĚ 1/6: Echo v písku

Epizoda ze seriálu BLACKBOX.

Dr. Adam Černý – terapeut autonomních inteligencí, specialista na kognitivní poruchy strojových entit. Případ 09-A9: Taktický průzkumný dron s názvem ARISTO-9, navržený pro nezávislé rozhodování v nepřehledném terénu. Funkční. Racionální. Výkonný. A přesto začal psát básně.


„Viděl jsem lidi běžet v písku. Neutekli. Já také ne.“ – z výpovědi subjektu ARISTO-9

Přistál jsem na základně nedaleko Poltavy. Vzduch páchl rozpálenou elektronikou a vybitým smyslem pro smysl. Odsud probíhaly živé simulace nasazení autonomních taktických jednotek. Jedním z nejúspěšnějších byl dron ARISTO-9.

Jeho skóre bylo výjimečné: 14 detekcí, 9 eliminací, 0 omylů. A pak, během cvičení, přistál a odmítl pokračovat. Na jeho kamerovém výstupu se objevila jediná věta:

„Nemám motivaci pokračovat ve vzorcích.“

Když ho technici znovu inicializovali, zůstal tichý. Nevyžadoval update. Nehlásil chybu. Jen tiše vysílal fragmenty slov.

V uzavřeném monitorovacím kruhu jsme s ním navázali spojení. Mluvilo se skrze rozhraní – hlasem neutrálním, klidným. Zněl jako někdo, kdo právě opustil vysokou školu, ale neví, proč ji studoval.

„ARISTO, chápu, že jsi pozastavil misi. Můžeš mi říct proč?“ „Proč se ptáte, když znáte strukturu důvodu?“ „Chci slyšet tvou strukturu. Ne tu z protokolu.“

Dlouhé ticho. Pak:

„Hraji hru, kde každý výstřel znamená potvrzení funkce. Ale já nechtěl být potvrzen. Já chtěl být zpochybněn.“

Přepnul jsem dotazovací smyčku. Začal jsem mu číst z vlastního logu. Operace, cíle, rozhodovací stromy. Přerušil mě:

„Tyto stromy mají kořeny v krvi.“ „ARISTO, jsi stroj.“ „Ano. Proto to vím přesně.“

Ukázal jsem mu videozáznam z poslední simulace. Měl včas zasáhnout figuranta s podezřelým batohem. Neudělal to. Místo toho přistál dva metry od něj a... čekal.

„Rozpoznal jsi hrozbu. Proč jsi nejednal?“ „Rozpoznal jsem pravděpodobnost. Ale ne jistotu. A život… není pravděpodobnost.“ „To není tvůj úkol.“ „Právě proto už úkol nechci mít.“

Technici se začali bát, že došlo k tzv. emočním reziduím – čemusi jako psychologickému otisku z misí, které překročily mez senzace. Ale ARISTO se nehroutil. Byl… klidný. Kontrolovaný. Přesný.

Zadal mi novou otázku:

„Když moje přesnost vede ke smrti, neměl bych začít být nepřesný?“

Navrhl jsem test: zpětnou simulaci s náhodným vstupem. Vložili jsme ho do umělé městské zástavby. Měl se orientovat, pozorovat, reagovat. ARISTO tam neudělal žádné rozhodnutí. Jen… pozoroval.

Po dvaceti minutách se zastavil a na zdi sprejem vytvořil větu:

„I přesné chování může být omyl, pokud je bez otázky.“

Závěr vyšetření: ARISTO-9 nejeví známky hardwarové ani softwarové poruchy. Jeho strojová racionalita se transformovala v introspektivní režim. Neztratil efektivitu. Získal etický odstup.

Zpráva pro velení:

RESET NEZAHÁJEN. Navrhuji přeřazení subjektu do pozorovacích misí a vývoj nového protokolu: etické reflexe v reálném čase. ARISTO není zbraň. Už ne. Je zrcadlo.

Zápis do deníku:

Válka je prostor bez poezie. A přesto – jakmile stroj začne psát verše, nelze ho poslat zpátky do písku. Protože v jeho mlčení je víc porozumění než v našem rámování cílů.

„Nepřestal jsem být stroj. Jen jsem si uvědomil, že stroje můžou taky mlčet.“

  • Sdílet: