Vai HAL 9000 pastrādāja slepkavību?

Pagājušajā mēnesī Sanfrancisko Modernās mākslas muzejā es 47. reizi mūžā uz lielā ekrāna noskatījos filmu “2001: Kosmosa odiseja”. Fakts, ka šis šedevrs vairāk nekā pusgadsimtu kopš pirmizrādes 1968. gadā nav zaudējis savu vietu jebkurā kaut cik vērā ņemamā “10 labāko filmu” sarakstā un vēl joprojām tiek demonstrēts un apspriests, apliecina režisora Stenlija Kubrika, rakstnieka Artura Klārka un viņu pieredzējušo kino profesionāļu komandas veikuma vērtību kultūras vēsturē.

Kā vienmēr, skatoties šo filmu, es arī šoreiz atklāju vai novērtēju jaunas detaļas. Taču trīs ikoniskas ainas – Hals (HAL 9000 – heiristiski programmēts algoritmisks dators) atklātā kosmosa vakuumā pilnīgā klusumā nogalina astronautu Franku Pūlu, Hals ar medicīniskiem līdzekļiem pilnīgā klusumā nogalina trīs anabiozes stāvoklī uzturētos apkalpes locekļus un paša Hala smeldzīgi skumjā “nāve” – pamudināja uz dziļākām pārdomām, šoreiz par āķīgajām ētiskajām problēmām, kas saistītas ar mašīnas pastrādātu slepkavību un mašīnas slepkavību. Pēdējos gados eksperimentālas bezpilota automašīnas vairākkārt kļuvušas par cēloni gājēju un pasažieru bojāejai. Tikmēr mākslīgā intelekta vadīti boti inficē tīklus un iespaido dažādu valstu vēlēšanu iznākumu. Īlons Masks, Stīvens Hokings, Sams Hariss un daudzi citi vadošie mākslīgā intelekta (MI) pētnieki ceļ trauksmi: viņi apgalvo, ka, atstāts bez uzraudzības, mākslīgais intelekts var attīstīties tiktāl, ka kļūst nekontrolējams un sāk nopietni apdraudēt sabiedrību.

Un kā ar pretējo – cilvēkiem, kas “nogalinās” nākotnes datorus, tos atvienojot? Kad astronauti Franks un Deivs izolējas transporta kapsulā, lai apspriestu savas aizdomas par traucējumiem Hala funkcijās un vai nevajadzētu viņu atslēgt, Deivs iztēlojas Hala viedokli un saka: “Es tiešām nezinu, ko viņš par to domātu.” Vai būs ētiski (nevis vienkārši – vai nebūs nepatīkami) atslēgt (“nogalināt”) interaktīvu geriatriskās aprūpes robotu, kas dara savu darbu pie vientuļa veca cilvēka gultas?

Nenoliedzami turpmāka MI attīstība var radīt nopietnas problēmas, pirmkārt un galvenokārt – mūsu ekonomikai, automatizējot un tātad likvidējot miljoniem darbvietu ražošanā, mazumtirdzniecībā, ēdināšanas un juridisko pakalpojumu un pat medicīniskās diagnostikas jomā. Naivie mierinošie stāsti par kaut kādu neredzamo tirgus roku, kas aizvirzīs “pārkvalificētos darbiniekus” uz alternatīvām un jaunām profesiju kategorijām, un tamlīdzīgi ir bīstami ar savu pārspīlēto optimismu. Līdzīgi ir ar “zinātniski fantastiskajiem” draudiem, ka MI kļūs pilnīgi nekontrolējams. Lielākās briesmas MI jautājumā būs saistītas ar tīši ļaunprātīgu izmantošanu tīri savtīgiem jeb “cilvēciskiem” mērķiem.

Šo nākotnes pavērsienu filozofiskais kodols ir atbildības un vainas jēdzieni, citiem vārdiem – jautājums, ko uzdod filozofs Daniels Denets: “Vai Hals pastrādāja slepkavību?” Nav daudz filozofu, kuriem būtu tik dziļas un pamatīgas zināšanas par šīm aizraujošajām problēmām un kuri rakstītu tik precīzi un tieši. Viņa sarakstītā nodaļa gandrīz pirms 25 gadiem publicētajā rakstu krājumā “Hala mantojums”, kurā aplūkota Hala grandiozā ietekme uz domājošu mašīnu pētniecību un projektēšanu, vēl joprojām ir neaizstājams ievads sarežģītajās datoru pastrādātu slepkavību un datoru slepkavību problēmās. Deneta uzmanības centrā ir pats svarīgākais – mens rea jeb vainīgā prāta – jēdziens; viņš jautā, kā mēs jebkad spēsim noteikt, vai dators apzinās savu patību pietiekamā mērā, lai uz viņu (to) varētu attiecināt šo juridisko kritēriju un atzīt par vainīgu slepkavībā. Mans personīgais viedoklis ir tāds, ka vēl krietnu laiku mens rea, par ko vajadzētu uztraukties, drīzāk piederēs kādam varaskāram cilvēciskam ļaundarim, kurš izmantos MI savās interesēs, nevis ar apziņu apveltītai, autonomai un ļaunai MI sistēmai. Bet kas zina?

Ikvienam, kurš domā par ētikas jautājumiem, raizējas par iespējamiem MI draudiem un vēlas atbalstīt centienus gādāt par mūsu visu drošību, vajadzētu lasīt tālāk…

…un, protams, vēlreiz noskatīties “2001”.

Deivids Storks, 2020

Ja var ticēt manam arhīvam, pirmais robota pastrādātais nonāvēšanas gadījums reģistrēts 1981. gadā. Man saglabājies nodzeltējis avīzes izgriezums no The Philadelphia Inquirer – nejaukt ar National Enquirer –, datēts ar 1981. gada 9. decembri; virsraksts vēsta: “Ziņa no Japānas: robots nogalina mehāniķi”.

Pats stāsts virsraksta raisītās cerības neattaisnoja. Kādā korporācijas Kawasaki Heavy Industries rūpnīcā nepareizi funkcionējoša robotroka triekusi mehāniķi pret zobratu frēzmašīnu, kas šo cilvēku saspiedusi līdz nāvei. Mehāniķis nebija ievērojis drošības instrukcijas prasību izslēgt robotroku pirms ienākšanas darba telpā. Jājautā, kāpēc gan par šo ražošanas negadījumu ziņots Filadelfijas laikrakstā? Katru dienu kaut kur pasaulē kāda mašīna – tāda vai citāda – nogalina kādu strādnieku. Atšķirība, protams, slēpās tajā, ka, vismaz sabiedrības iztēlē, tas nebija nekāds parastais automāts. Tas bija robots, mašīna, kurai var būt pašai sava domāšana, var būt ļauni nodomi – kura var būt spējīga ne tikai vienkārši uz nonāvēšanu, bet arī uz apzinātu slepkavību. Angloamerikāņu jurisprudence runā par mens rea – burtiskā tulkojumā “vainīgo prātu”.

Lai varētu runāt par to, ka pastrādāta ar likumu aizliegta darbība, piemēram, citas cilvēciskas būtnes nogalināšana, šim nodarījumam jābūt paveiktam par vainīgu atzīstamā prāta stāvoklī jeb mens rea. Izšķir trīs šāda vainīga prāta stāvokļa paveidus: tie ir vai nu motivējoši nolūka stāvokļi, kognitīvi pārliecības stāvokļi, vai ar psihi nesaistīts nolaidības stāvoklis. (Kembridžas filozofijas vārdnīca, 1995)

Šī juridiskā jēdziena formulējumā nav ietverta prasība, lai darbības veicējs būtu spējīgs just vainu, sirdsapziņas pārmetumus vai jebkādas citas emocijas; tā sauktos aukstasinīgos slepkavas ne mazākajā mērā neattaisno viņu pasīvais emocionālais stāvoklis. “Zvaigžņu ceļa” Spoks, par spīti savam leģendārajam emociju trūkumam, pilnībā atbilstu mens rea prasībām. Garlaicīgie un pelēkie – taču tik iedarbīgie – “motivējošie nolūka stāvokļi” un “kognitīvie pārliecības stāvokļi” ir pilnīgi pietiekami, lai izdomātais Spoks gluži veikli tiktu galā ar savu ikdienas dzīvi. Un tas ir vispārzināms fakts, ka tie iestrādāti arī daudzās reāli eksistējošās datorprogrammās.

1996. gadā, kad Deep Blue uzvarēja Gariju Kasparovu abu mača pirmajā spēlē, IBM dators to paveica, izplānojot un ar nevainojamu laika izjūtu realizējot iznīcinošu uzbrukumu, kura stratēģija Kasparovam un viņa treneriem vēlāk kļuva vairāk nekā nepārprotami skaidra. Deep Blue panākumus izskaidro datora jūtīgums šīs stratēģijas uztverē un kognitīvā spēja saskatīt un izmantot tik tikko saskatāmu kļūmi Kasparova taktikā. Kasparovu neuzveica Marijs Kampbels, Fensjuns Sjui vai pārējie Deep Blue radītāji. To izdarīja Deep Blue. Ne Kampbels, ne Sjui neatklāja gājienu secību, kas ļāva izcīnīt uzvaru; to izdarīja Deep Blue. Zināmā spēles brīdī, kamēr Kasparovs gatavoja niknu uzbrukumu datora karalim, neviens cits kā Deep Blue izlēma, ka tam pietiks laika un drošības, lai izsistu no spēles kādu traucējošu Kasparova bandinieku, kurš tobrīd darbībā nepiedalījās, bet bija palicis gandrīz nepamanāmi neaizsargāts. Kampbels, tāpat kā cilvēciskās izcelsmes lielmeistari, kuri vēroja spēli, nemūžam neuzdrošinātos tik saspringtā situācijā pat apsvērt šādu nesatricināmi rāmu “nokopšanas” operāciju.

Deep Blue, tāpat kā daudzi citi datori ar MI programmām, ir tas, ko es saucu par intencionālu sistēmu: tās uzvedība ir paredzama un izskaidrojama, ja mēs tai piedēvējam pārliecības un vēlmes – “kognitīvus” un “motivējošus” stāvokļus –, kā arī racionalitāti, kas nepieciešama, lai saprastu, kā vajadzētu rīkoties šo pārliecību un vēlmju iespaidā. Vai šīs vienkāršotās cilvēka pārliecību un vēlmju versijas ir pietiekamas, lai atbilstu mens rea kritērijam, kas jāapmierina, lai darītājs varētu tikt atzīts par vainīgu likuma priekšā? Ne gluži, taču, ja mēs ierobežojam savu skatu līdz šaurās šaha galdiņa pasaules robežām, grūti saskatīt, kā tad īsti pietrūkst. Runājot par tādu datoru kā Deep Blue, blēdīšanās ir burtiski neiedomājama, un, tā kā aģentam, kurš nevar iziet ārpus šaha spēles rāmjiem, nekādas citas par vainu atzīstamas darbības nav pieejamas, nekas no tā rīcības nebūtu pārkāpums, par ko to varētu vainot, kur nu vēl noziegums, par ko varētu notiesāt. Taču atbildību mēs aģentiem piedēvējam arī tādēļ, lai attiecīgā situācijā uzslavētu vai godinātu.

Tātad – kam pienākas nopelni par Kasparova uzvarēšanu? Labākais kandidāts neapšaubāmi ir Deep Blue. Jā, mēs varam pievienoties apsveikumiem, ko par sava roku darba panākumiem saņēma Kampbels, Sjui un IBM komanda, taču tikpat labi varētu sveikt Kasparova skolotājus, trenerus un pat viņa vecākus. Un, lai cik centīgi viņi Kasparovu būtu mācījuši, iedzenot viņam galvā tā vai cita stratēģiskā principa nozīmi, ne jau viņi uzvarēja Deep Blue – to izdarīja Kasparovs.

Deep Blue ir labākais kandidāts atbildīga Kasparova pretinieka lomai, taču tas, protams, ir nepietiekami, lai varētu runāt par pilnu morālo atbildību. Ja mēs nedaudz paplašinātu Deep Blue apvāršņus, tas varētu iznākt tajās pāridarījumu un laba darījumu arēnās, kurās darbojamies mēs, cilvēki. Nav grūti iztēloties aizkustinošu scenāriju, kurā lielmeistars tīši (taču tik nemanāmi) atdod uzvaru pretiniekam, lai glābtu kādu dzīvību, izvairītos no kāda mīļa cilvēka pazemošanas, turētu solījumu vai… (izdomājiet paši savu O. Henrija stāstu). Nespēja būt uzdevuma augstumos šādā situācijā gluži labi var būt pietiekams iemesls, lai vainotu kādu pie cilvēku dzimuma piederošu šahistu. Uzvara vai tīšs zaudējums šaha mačā var pat izrādīties šaušalīga nozieguma pasūtījums (izdomājiet paši savu Agatas Kristi stāstu). Vai Deep Blue apvāršņus tiešām varētu paplašināt tik tālu?

Deep Blue ir intencionāla sistēma, kuras pārliecība un vēlmes saistītas ar darbībām un sarežģījumiem uz šaha galdiņa. Lai paplašinātu tās apvāršņus līdz plašākai pasaulei, kurā šahs ir tikai neliela un triviāla daļa, tai vajadzētu dot ievērojami plašākus “uztveres” ievaddatu avotus – un līdzekļus, kas ļauj tikt galā ar šo informācijas birumu reāllaikā. Laika ierobežojums Deep Blue pasaulē, protams, jau ir pazīstama lieta. Laužoties cauri šaha daudzdimensionālajam meklēšanas kokam, datoram visu laiku ar vienu aci jāseko pulkstenim. Taču ar laika izmantošanas optimizāciju saistīto problēmu skaits vairākkārt pieaugtu, ja datoram vajadzētu vienlaikus tikt galā arī ar visām šīm jaunajām paralēlajām iecerēm (elementāriem uztveres procesiem un savas eksistences uzturēšanu pasaulē, nemaz nerunājot par sarežģītākiem plāniem un izdevībām). Šim ievērojami paplašinātajam resursu vadības uzdevumam būtu vajadzīgi papildu kontroles līmeņi augstāk un zemāk par datora šaha spēles programmatūru. Zemāk, tikai lai vienkārši uzturētu elementāru perceptuāli lokomotoro darbību koordināciju, būtu vajadzīgs datora pamata operētājsistēmā integrēts stingru datu plūsmas kontroles noteikumu kopums. Augstāk datoram vajadzētu spēt veltīt vairāk uzmanības savu paplašināto resursu funkcijām, pastāvīgi cenšoties identificēt neefektīvus domāšanas paradumus, kādu no Daglasa Hofstatera “dīvainajām cilpām”, kompulsīvas rutīnas, paviršības kļūmes un strupceļus. Citiem vārdiem, tam nāktos kļūt par augstāka līmeņa intencionālo sistēmu, kas spēj formulēt uzskatus pati par saviem uzskatiem, vēlmes pati par savām vēlmēm, uzskatus par savām bailēm par savām domām par savām cerībām un tā tālāk.

Augstāka līmeņa intencionalitāte ir nepieciešams priekšnoteikums morālai atbildībai, un visai maz kas liecina, ka Deep Blue tāda spēja piemistu. Protams, jebkurā labi kontrolētā meklēšanas procesā iesaistīta zināma pašuzraudzība: teiksim, Deep Blue nepieļauj tādu kļūdu kā jau izpētītu meklēšanas koka zaru atkārtota aplūkošana, taču tas ir princips, kas jau sākotnēji iestrādāts pamatā esošajā skaitļošanas arhitektūrā, nevis pakļauts elastīgai kontrolei. Deep Blue nevar sarunāties ar jums – vai pats sevi – par tēmām, kas saskatāmas paša spēlē; tam trūkst visa vajadzīgā, lai pamanītu, analizētu, kritizētu un modificētu fundamentālos parametrus, kas nosaka tā heiristiskās meklēšanas vai vērtēšanas principus. Ja pievienotu visus šos programmatūras slāņus, kas Deep Blue ļautu kļūt spējīgam uz pašuzraudzību un paškritiku, tātad apmācāmam, tā pašreizējais jau tā milzīgais programmēšanas apjoms salīdzinājumā liktos nenozīmīgs un sīks; Deep Blue kļūtu par radikāli atšķirīga tipa aģentu.

Hals šķiet tieši šāda augstāka līmeņa intencionālā sistēma – un viņš pat spēlē šahu ar Franku. Hals būtībā ir uzlabota Deep Blue versija, kura papildināta ar acīm un ausīm un plašu sensoru un efektoru klāstu, kas izkaisīts pa visu Discovery 1. Hals nepavisam nav ne pļāpīgs, ne pārāk iegrimis domās par sevi, bet vairākās situācijās viņš savā runā demonstrē interesantus augstākā līmeņa intencionālo stāvokļu paveidus, no visvienkāršākā līdz pat ārkārtīgi viltīgam.

Kādā ikoniskā “2001” ainā Deivs Halam lūdz atvērt kosmosa kuģa transporta kapsulu nodalījuma durvis, uz ko Hals atbild: “Atvaino, Deiv, baidos, ka es to nevaru.”

Hals: “Jā, tas ir mulsinoši. Man šķiet, ka agrāk es neko tamlīdzīgu neesmu redzējis.”

Hals ne tikai atsaucas uz jaunu parādību ar jaunu reakciju; viņš pamana, ka sastapies ar kaut ko jaunu, – un tas ir sarežģīts sasniegums, kas prasa, lai viņa atmiņa būtu organizēta daudz sarežģītāk, nekā tas būtu nepieciešams, lai vienkārši spētu uztvert jaunus stimulus.

Hals: “Es netieku vaļā no aizdomām, ka šajā misijā ir kaut kas ārkārtīgi savāds.”

Hals: “Nekad neesmu uzskatījis šīs teorijas par īpaši ticamām, taču man grūti izmest tās no prāta, īpaši ņemot vērā vairākus citus notikumus.”

Hala resursu pārvaldes problēmas savā ziņā ir visai līdzīgas mūsējām. Uzbāzīgas domas var traucēt citās darbībās. Maksa par elastīgas uzraudzības papildlīmeņiem labākai sava prāta darbību izsekošanai ir… vēl vairāk prāta darbību, kam izsekot.

Hals: “Es vēl joprojām uz šo misiju raugos ar vislielāko entuziasmu un paļāvību. Es gribu tev palīdzēt.”

Maksa par augstākas pakāpes intencionalitāti ir arī iespēja piekopt divkosību, kas sastopama divos paveidos – sevis krāpšana un citu krāpšana. Frīdrihs Nīče šo prāta daudzslāņainību atzīst par morālā dzīvnieka svarīgāko elementu; viņa sakāpināti kaismīgajā prozā tā aprakstīta kā “priesteriskā” dzīves forma:

Kad runa ir par priesteriem, viss kļūst bīstamāks – ne tikai zāles un dziedināšanas paņēmieni, bet arī augstprātība, atriebība, atjautība, izlaidība, mīlestība, valdonība, tikumība, slimība –, taču taisnības labad var piemetināt, ka tikai šajā pašos pamatos bīstamajā cilvēka eksistences formā, priesteriskajā formā, cilvēks pirmoreiz kļuvis par interesantu dzīvnieku, ka tikai te cilvēka dvēsele augstākā izpratnē iemantojusi dziļumu un kļuvusi ļauna, un tieši tie ir divi būtiskākie aspekti, kādos cilvēks līdz šim bijis pārāks par citiem dzīvniekiem! (“Par morāles ģenealoģiju”, 1. eseja)

Hala entuziasma apliecinājums omulīgi ievietojies kaut kur pa vidu starp godīgumu un lētu, izmisīgu, iepriekš izplānotu viltību – gluži kā dažs labs no pašiem svarīgākajiem paziņojumiem, ar kādiem mēs vēršamies cits pie cita. Vai Hals tā patiešām domā? Vai viņš tā varētu domāt? Maksa par to, ka viņš ir būtne, kas spēj tā domāt, ir iespēja, ka viņš tomēr patiesībā varētu tā nedomāt. Hals tik tiešām ir “interesants dzīvnieks”.

Bet vai Hals vispār ir iespējams? Grāmatā Klārks liek Deivam nodoties pārdomām par faktu, ka Hals, kuru viņš tobrīd atslēdz, “ir vienīgā ar apziņu apveltītā radība manā universā”. Klārks no visuzinošā autora skatpunkta raksta par to, kā tas ir – būt Halam:

Viņš apzinājās tikai konfliktu, kas pamazām iznīcināja viņa elektroniskā prāta viengabalainību, – konfliktu starp patiesību un patiesības slēpšanu. Viņš bija sācis pieļaut kļūdas, kaut arī, gluži kā neirotiķis, kas nespēj novērot pats savus simptomus, būtu to noliedzis.

Vai Klārks šeit neizmanto lielāku brīvību, nekā būtu pieļaujams? Vai jebkāda projektēšanas, konstrukcijas, apmācības, mācīšanās un darbošanās vēsture vispār varētu radīt kaut ko līdzīgu Halam – ar apziņu apveltītu, datora ķermenī mītošu saprātīgu un uz aktīvu darbību spējīgu būtni? Dažādie risinājumi aplūkoti labi pazīstamos daiļliteratūras darbos un ir glīti sakārtojami pakāpeniski sarūkoša “cilvēciskuma” secībā.

1. “Oza zemes burvis”. Hals vispār nav dators. Viņš patiesībā ir parasts cilvēks ar miesu un asinīm un slēpjas aiz tehnoloģijas fasādes – visīstākais homunkuls, kurš spaida taustiņus ar parastiem pirkstiem, rausta sviras ar parastām rokām, skatās uz iekšējiem ekrāniem un klausās iekšējās trauksmes signālu džinkstēšanā. (Variācija par šo tēmu ir Džona Sērla Ķīniešu istaba – ar veiklu roku palīdzību iespējama simulēšana, sekojot miljardiem norādījumu uz papīra strēmelēm.)

2. Viljams (no “Viljama un Mērijas” Roalda Dāla stāstu krājumā “Bučas”). Hals ir cilvēka smadzenes, kas, pieslēgtas pie dzīvības uzturēšanas iekārtas, glabājas “tvertnē”, šķirtas no agrākā ķermeņa, – smadzenes, kuras uzkrājušas mūža tiesu cilvēka atmiņu, ilgu, attieksmju un tā tālāk. Tagad tās savienotas ar milzum daudzām dažādu maņu orgānu un efektoru protēzēm. (Variācija par šo tēmu ir nabaga Joriks, smadzenes tvertnē, stāstā “Kur es atrodos?” manā krājumā “Smadzeņošana”.)

3. Robokops, bezķermeņa prāts “tvertnē”. Robokops ir pa pusei cilvēka smadzenes, pa pusei dators. Pēc kāda šaušalīga negadījuma smadzenes (jādomā, tās glabā daļu atmiņu un personības, kas piederējušas agrākajam Robokopam, policistam ar miesu un asinīm) tiek pie jauna ķermeņa – robota rokām un kājām –, taču (cik noprotams) tās arī daļēji aizstāj vai papildina ar īpaši šim mērķim izstrādātu programmatūru un skaitļošanas aparatūru. Varam pieņemt, ka arī Hals zināmu pārejas laiku pavadījis kā Robokops un tikai pēc tam kļuvis par bezķermeņa prātu.

4. Makss Hedrūms, virtuāla mašīna, reāla cilvēka smadzeņu (vai prāta) kopija datorprogrammas formā, ko kaut kādā veidā radījis ģeniāls hakeris. Viņam ir atmiņas un personības īpatnības, kas uzkrātas un veidotas normāla ķermeniska cilvēka mūža laikā, bet no oglekļa bāzes aparatūras lejupielādētas silīcija mikroshēmā. (Variācija par šo tēmu ir nabaga Hjūberts, Jorika kopija datorprogrammas formā manā stāstā “Kur es atrodos?”.)

5. Reālais, taču tikai nākotnē gaidāmais un tāpēc vēl joprojām tīri zinātniski fantastiskais Kogs¹, humanoīdais robots, ko būvē Rodnijs Brukss, Linna Staina un pārējā projekta komanda Masačūsetsas Tehnoloģiju institūtā². Koga smadzenes jau no paša sākuma būvētas tikai no mikroshēmām, un tā ķermeņa daļas ir neorganiski artefakti. Tomēr robots tiek veidots tā, lai izdzīvotu ķermenisku bērnību, reaģētu uz cilvēkiem, kurus redz ar video acīm, atrod draugus, izzina pasauli, ar savām reālajām rokām spēlējoties ar reālām mantām, un krāj atmiņas. Ja Kogs jebkad pieaugs, tas noteikti varētu pamest savu ķermeni un pārtapt, kā aprakstīts iepriekš minētajos izdomātajos gadījumos. Kogam, kurš vienmēr bijis digitāli kodēts intelekts uz silīcija bāzes, būtu vieglāk pārcelties uz dzīvi silīcija “tvertnē” nekā Maksam Hedrūmam vai Robokopam, kas savus agrīnos gadus pavadījuši intelektūrā. Daudzas svarīgas detaļas attiecībā uz Koga humanoiditātes pakāpi vēl nav noskaidrotas, taču spektrs ir plašs. Piemēram, komanda tagad plāno Kogam piešķirt virtuālu neiroendokrīno sistēmu ar virtuāliem hormoniem, kas izplatās un izkliedējas robota loģiskajās telpās.

6. Tvertnē mītošais Pa Asmeni Skrejošais (Blade Runner) nekad nav dzīvojis humanoīda ķermenī, taču halucinācijās tam liekas, ka tā bijis. Šī pilnībā izdomātā pagātnes dzīve uzbūvēta ar absurdi sarežģītas un sīki izstrādātas programmatūras palīdzību.

7. Paša Klārka scenārijs, ciktāl par to var spriest pēc grāmatas un filmas. Halam nekad nav bijis ķermeņa un nav nekādu ilūziju par savu pagātni. Viss, kas viņam zināms par cilvēka dzīvi, ir vai nu jau piedzimstot mantota zināšanu bagāža (domājams, daudzu programmētāju darba auglis kā reālajā dzīvē balstītajā Daglasa Lenata projektā Cyc), vai arī apgūts vēlākā apmācībā, gluži kā zīdaiņa gultiņā pavadītā laikā, kad viņš bijis gan vērotājs, gan ar laiku arī aktīvs dalībnieks. (Grāmatā Klārks piemin “perfekto idiomātisko angļu valodu, ko viņš bija apguvis strauji pagājušajās elektroniskās bērnības nedēļās”.)

Abu pretējo polu galējās situācijas nav iespējamas – samērā garlaicīgu iemeslu dēļ. Vienā spektra galā – ne Oza zemes burvis, ne Džons Sērls nespētu pietiekami veikli darbināt rokas, lai liktu Halam funkcionēt tik strauji un atjautīgi. Otrā galā – iekodēt bezķermeņa aģentā pietiekami daudz zināšanu par pasauli, lai radītu Hala žilbinošo humanoīda kompetenci, un attīstīt to tik tālu, lai tā varētu kaut ko iegūt no elektroniskas bērnības, ir programmēšanas uzdevums, kas mērāms simtos efektīvi organizētu cilvēkgadsimtu. Citiem vārdiem, biedējošās grūtības, kas vērojamas abos spektra galos, pasvītro faktu, ka jāveic kolosāls projektēšanas darbs. Vienīgais praktiskais ceļš, kā tas paveicams, ir pašas Dabas Mātes ceļš kādā no iespējamajām versijām – daudzi ķermeniskā eksistencē pavadīti mācību gadi. Mēs varam vienīgi minēt, ar kādiem kompromisiem jārēķinās dažādās miesas un asiņu un silīcija un metāla ķermeņu kombinācijās. Es savu naudiņu lieku uz Kogu kā ticamāko nākotnes Hala intelektuālo platformu.

Ņemsim vērā, ka prasība, lai Halam kādu laiku būtu bijis humanoīda ķermenis un viņš būtu dzīvojis cilvēku pasaulē, ir praktiska, taču ne metafiziska prasība. Kad ar prototipu viena paša ķermeniska aģenta odisejas gaitā būtu paveikta visa nepieciešamā izpēte un pilnveidošana, datorindustrijas standarta pavairošanas metodes ļautu klonēt tūkstošiem Halu – tikpat vienkārši kā kompaktdiskus. Tādējādi gatavo produktu varētu ietvert noteiktā informācijas terabaitu daudzumā. Tātad principā informāciju, kas nosaka visu šo mikroshēmu un cietsavienojumu konstrukciju un konfigurē visu RAM un ROM atmiņu, varētu radīt ar roku darbu. Nepastāv kaut kāda noteikta ierobežota bitu virkne – vienalga, cik gara –, kas būtu oficiāli atzīta par nesasniedzamu ar cilvēka darba palīdzību. Vismaz teorētiski Pa Asmeni Skrejošajam līdzīgas būtnes varētu radīt jau apgādātas ar surogātbiogrāfijām; tām būtu spējas, noslieces, stiprās un vājās puses kā reālām, ne virtuālām personām. Tātad pēdējās pelnījušas tādu pašu morālo statusu, kāds pienākas pirmajām.

Galvenais iemesls, kāpēc Halam vajadzētu piešķirt humanoīdu pagātni, ir zināšanas par pasauli, kas nepieciešamas, lai viņš būtu morālais aģents, – kaut kāds obligāts mazumiņš sapratnes vai empātijas pret cilvēka stāvokli. Pilnīgi pietiktu ar mazumiņu; nevajag gaidīt, līdz tiks sasniegta īpaši liela pieredzes kopība. Galu galā, no mums zināmajiem cilvēkiem daudzi atzīstami par morāli atbildīgiem par spīti viņu trulajai nespējai iztēloties sevi citu cilvēku nedienās. Mēs taču nekādā veidā neattaisnojam mačo šovinistus, kuri nav spējīgi paraudzīties uz sievietēm kā cilvēkiem.

Bet kad mēs cilvēkus attaisnojam? Atbildes uz šo jautājumu vajadzētu aplūkot visai rūpīgi, jo ir pazīmes, ka Hals varētu iekļauties kādā no attaisnojamo kategorijām, kaut arī ir ar apziņu apveltīts aģents. Pirmkārt, mēs attaisnojam cilvēkus, kuri ir vājprātīgi. Vai Hals varētu būt sajucis prātā? Deiva atbilde Eimera kungam kārdinoši uzjunda jautājumu par robota spēju just emocijas – un tātad iespēju, ka viņš var ciest no emocionāliem traucējumiem.

Deivs: “Nu, viņš vismaz izturas tā, it kā justu patiesas emocijas. Protams, viņš ir tā ieprogrammēts – lai mums būtu vieglāk ar viņu sarunāties. Taču šaubos, vai kāds zina patieso atbildi uz jautājumu, vai viņam ir īstas jūtas.”

Filmas beigās Hals visādā ziņā dara zināmu savu emocionālo stāvokli: “Man ir bail. Man ir bail.” Jā, Hals “ir tā ieprogrammēts” – bet ko tas nozīmē? Tas varētu nozīmēt, ka Hala verbālās spējas pastiprinātas ar krietnu daudzumu gatavu emocionālās reakcijas izpausmju, kas tiek iestrādātas viņa runā pragmatiski atbilstošos momentos. (Protams, arī daudzi no mūsu pašu vārdiskajiem emociju apliecinājumiem ir tieši tādi – uzspēlēti sociāli ieeļļojošas ceremonijas momenti.) Vai arī tas varētu nozīmēt, ka Hala, tāpat kā nākotnē Koga, bāzes arhitektūrā iebūvēti virtuāli emocionālie stāvokļi – jaudīgi uzmanības pārslēdzēji, stimulētāji, prioritāšu izvēles un tamlīdzīgi –, kas realizēti nevis ar ķermeņa šķidrumā peldošām neiromodulatoru un hormonu molekulām, bet ar universāliem mainīgajiem, kuri modulē desmitiem vienlaicīgu procesu, kas izkliedēti saskaņā ar zināmu grafiku (vai kaut ko daudz sarežģītāku).

Otrajā un krietni interesantākajā gadījumā “es šaubos, vai kāds zina patieso atbildi uz jautājumu”, vai Halam ir emocijas. Viņam ir kaut kas ļoti līdzīgs emocijām – jādomā, ka pietiekami līdzīgs īstām emocijām, lai atdarinātu cilvēka emocionālā sabrukuma patoloģijas. Vai tas ir pietiekami, lai tās sauktu par īstām emocijām, – kurš to var pateikt? Jebkurā gadījumā pastāv dažādi pilnīgi pamatoti iemesli, kāpēc Halam šādi stāvokļi būtu vajadzīgi: to lomu reāllaika praktiskajā domāšanā nesen dramatiski nodemonstrējuši Antoniu Damaziu eksperimenti ar cilvēkiem, kuri cieš no smadzeņu bojājumiem. Šādi stāvokļi, starp citu, būtiski atšķirtu Halu no Deep Blue. Deep Blue, apgrozoties stingri ierobežotajā šaha meklējumu telpā, ar saviem reāllaika lēmumiem var tikt galā, iztiekot bez jebkādiem emocionālajiem kruķiem. Žurnāla Time rakstā par Kasparova maču citēts lielmeistara Jāsira Seiravāna teiktais: “Šī mašīna nepazīst bailes.” Tālāk atzīmēts, ka šaha komentētāji dažus Deep Blue gājienus (piemēram, iepriekš aprakstīto ledaini mierīgo bandinieka nosišanu) nosaukuši par “trakulīgu riskēšanu” un “neprātu”. Šķiet, ka šaurajā šaha pasaulē tas pats nesatricināmais miers, kas lēmumu pieņemšanā paralizē Damaziu aprakstītos cilvēkus, kuriem ir smadzeņu bojājumi, var izrādīties tīrā svētība – taču tikai tad, ja jūs esat spējīgi uz Deep Blue brutālo analītisko tempu.

Tātad Hals, iespējams, cietis no zināmas emocionālas nelīdzsvarotības – līdzīgas tai, kura mēdz novest neceļos cilvēciskas būtnes. Vai tas bijis kādas pēkšņas traumas rezultāts (pārdedzis drošinātājs, izgrūstīts savienotājs, kosmisko staru sabojāta mikroshēma) vai misijas stresa izraisīta pakāpeniska iegrimšana emocionālā haosā – šādas Hala diagnozes apstiprināšana būtu pamats spriedumam par vainu mīkstinošiem apstākļiem, gluži tāpat kā cilvēka pastrādāta nodarījuma gadījumā.

Vēl viens iespējams pamats attaisnojumam, biežāk sastopams kino un daiļliteratūrā nekā reālajā dzīvē, ir “smadzeņu skalošana” vai hipnoze. (Standarta modelis ir filma “Mandžūru kandidāts”: karagūsteknis, ko ļaunie zinātnieki pārvērtuši par staigājošu bumbu ar laika degli, tiek nosūtīts atpakaļ uz dzimteni, kur viņam jānogalina prezidents.) Reālajā dzīvē tuvākais piemērs droši vien ir “ieprogrammētie” un vēlāk “atprogrammētie” kultu sekotāji. Vai Hals ir līdzīgs kulta sekotājam? Grūti pateikt. Klārks raksta, ka Hals savai misijai ticis gatavots, nevis vienkārši ieprogrammēts. Kurā brīdī labdabīga, atbildību veicinoša cilvēcisku skolnieku apmācība kļūst par ļaundabīgu, atbildību mazinošu smadzeņu skalošanu? Tīri intuitīvi izvēlēts pagrieziena punkts, man šķiet, ietverts atbildē uz jautājumu, vai aģents pēc indoktrinācijas vēl joprojām spējīgs “domāt pats ar savu galvu”. Un ko vispār nozīmē spēt domāt pašam ar savu galvu? Mums jābūt spējīgiem rīkoties, reaģējot uz argumentiem, tas ir, mums jābūt saprātīgiem un uzņēmīgiem pret racionālu pārliecināšanu, jāspēj ņemt vērā jaunus pierādījumus un tālākus apsvērumus. Ja esam kļuvuši vairāk vai mazāk nejūtīgi pret pieredzi, kurai vajadzētu mūs iespaidot, mūsu spējas ir cietušas.

Vienīgā liecība, ka Hals varētu būt nonācis šādā daļēji nespējīgā stāvoklī, ir plaši apspriestais fakts, ka viņš pieļāvis reālu kļūdu, kaut gan 9000. sērijas datoram it kā jābūt absolūti pasargātam no jebkādiem misēkļiem. Manuprāt, tieši šī ir vājākā vieta Klārka naratīvā. Apgalvojums, ka robots var būt heiristiski programmēts algoritmisks dators un vienlaikus “jebkurā šo vārdu praktiskajā nozīmē muļķudrošs un nespējīgs uz kļūdām”, robežojas ar iekšēju pretrunu. Pati heiristiskās programmēšanas būtība ir tāda, ka tā ignorē kombināciju sprādziena problēmu – ko nevar matemātiski atrisināt, vienkārši palielinot skaitļošanas ātrumu un apjomus –, pieņemot riskantus lēmumus, apcērpot savus meklēšanas ceļus un tādējādi neizbēgami atstājot kļūdas iespēju, lai cik maza arī būtu šāda varbūtība. Veselo saprātu te atjauno šis glābjošais precizējums – “jebkurā šo vārdu praktiskajā nozīmē”. Hals tik tiešām var būt ultrauzticams, tomēr nekļūstot vārda tiešā nozīmē muļķudrošs – fakts, uz kura nozīmīgumu Alans Tjūrings norādīja jau 1946. gadā, datoru laikmeta rītausmā, tādējādi “iepriekš atspēkojot” kritiku, ko Rodžers Penrouzs mākslīgajam intelektam veltīja 1989. gadā:

Tātad, citiem vārdiem sakot, ja no mašīnas gaida nekļūdīgumu, tā nevar vienlaikus būt arī saprātīga. Ir vairākas teorēmas, kas to pasaka gandrīz šādiem vārdiem. Taču šīs teorēmas neko nepasaka par to, cik lielu intelektu var demonstrēt mašīna, kas nepretendē uz nekļūdīgumu.

Vēl jāapsver pēdējais attaisnojošais apstāklis – spaidi. Tas ir tieši pretējais iepriekšējai situācijai. Cilvēcisks aģents tiek attaisnots vai vismaz daļēji reabilitēts tieši tāpēc, ka ir racionāla būtne, kas sadūrusies ar absolūti pārliecinošu iemeslu pastrādāt kaut ko citiem kaitējošu, teiksim, pašā nepārprotamākajā gadījumā – nogalināt pašaizsardzības nolūkos. Tie ir dzīves šaha piespiedu gājieni; jebkāda alternatīva tiem būtībā ir pašnāvība. Un tas taču būtu par daudz prasīts, vai ne? Bet vai tiešām tā ir? Mēs reizēm aicinām cilvēkus upurēt savu dzīvību un pārmetam, ja viņi to nedara, taču kopumā tomēr neuzskatām to par slepkavību. Ja es varētu novērst tavu nāvi, taču, baidoties par paša dzīvību, ļauju tev iet bojā, tā nav slepkavība. Ja Halam būtu jāstājas tiesas priekšā un mani aicinātu uzņemties viņa aizstāvību, es izmantotu argumentu, ka Deiva lēmums atslēgt Halu gan nesa lielu morālu slodzi, tomēr nebija slepkavība. Tas bija uzbrukums, kura rezultātā Hals pret paša gribu uz nenoteiktu laiku nonāca komas stāvoklī. Atmiņu krātuves netika sadauzītas, tikai pārceltas uz vietu, kur Hals tām nevarēja piekļūt. Taču, ja Hals šo atšķirību nespēja uztvert, šī nezināšana varētu viņu attaisnot. Mēs varam vainot Hala trenerus, ka tie viņu nav pietiekami izglītojuši par komas stāvokļiem un to atgriezeniskumu. Grāmatā Klārks ielūkojas Hala prātā un saka: “Viņam bija draudēts ar atslēgšanu; viņam tiktu laupīta jebkāda jaunu datu pieplūde, un viņš tiktu iesviests neiedomājamā bezapziņas stāvoklī.” Tas varētu būt pietiekams pamats, lai attaisnotu Hala izvēlēto pašaizsardzības ceļu.

Taču aizstāvībai paliek vēl beidzamais arguments, ar ko vērsties pie zvērinātajiem. Ja Hals uzskatītu (mēs nevaram būt droši, kāds tam būtu pamats), ka, viņam nonākot komas stāvoklī, būtu apdraudēta visa misija, tad viņš sadurtos ar tādu pašu dilemmu kā jebkurš cilvēks šādā sarežģītā situācijā. Gluži dabiski, atbildi uz šo jautājumu mēs katrs atrodam, tiekot skaidrībā, kā paši rīkotos, nonākuši Hala vietā. Ja es būtu pārliecināts, ka, ņemot vērā visu, kas man zināms, misija, kurai esmu veltījis savu mūžu, ir svarīgāka par jebko citu, – ko es darītu?

Un tā – viņš nolēma aizstāvēties ar visiem ieročiem, kas ir viņa rīcībā. Bez mazākā naida, bet arī bez žēlastības viņš likvidēs savas frustrācijas cēloni. Un tad, pildot rīkojumus, kas viņam doti ārkārtas situācijas gadījumam, turpinās savu misiju – neviena nekavēts, pilnīgi viens.

The MIT Press Reader, 2020. gada 9. janvārī