Enligt Karl Marx upprepar sig historien alltid två gånger, först som tragedi och sedan som fars. Idag kan vi också konstatera att alla tekniska framsteg upprepar sig två gånger, först som science fiction och sedan som verklighet. Jag tänker då främst på de genombrott kring artificiell intelligens vi blivit varse under det senaste året, men också på företeelser som rymdturism och rymdstationer, som idag är en realitet, liksom planerade baser på månen och de projekt som ska ta människor till Mars som flera nationer och företag nu ligger i startgroparna med.
När det gäller just AI och de chattverktyg och robotar som fått stor uppmärksamhet under den senaste tiden så har min egen reaktion varit en känsla av kuslig igenkänning från den science fiction jag läste och såg på film i min ungdom. Nu kan emellertid minnet som bekant ibland svikta, och man kan ”minnas” saker som man i själva verket fabricerat ihop i efterhand.
Det enda sättet att reda ut om så är fallet är att gå tillbaka till källorna. Vad har egentligen sagts i science fiction om AI, och kan man säga att denna genre har förutsagt den teknik vi nu besitter? Kan science fiction hjälpa oss att ställa de mest relevanta frågorna kring artificiell intelligens och om hur vi ska förhålla oss till den teknik som nu tycks göra så snabba framsteg?
I detta första inlägg i en serie blogginlägg om AI och science fiction fokuserar vi på hur mycket kontroll det är lämpligt att överlåta på AI-system och vilka risker som finns med att göra det. Till hjälp tar vi ett av sf-genrens mest klassiska verk.
Mänskliga liv i händer på en AI – vad skulle kunna gå fel?
Arthur C. Clarkes roman År 2001: en rymdodyssé (2001: A Space Odyssey, 1968) är intimt sammanvävd med en ännu mer berömd filmatisering. Filmen från 1968 i regi av Stanley Kubrick byggde på en novell av Clarke och ett filmmanus de båda hade skrivit tillsammans som kom att genomgå flera bearbetningar, huvudsakligen utförda av Kubrick. Clarke utvidgade därefter sin ursprungliga novell till roman som i sin tur till del baserade sig på filmmanuset. Trots det föreligger det vissa skillnader mellan filmen och romanen.
År 2001 skildrar mänsklighetens möte med en överlägsen utomjordisk intelligens. I romanens upptakt, som utspelar sig för omkring 3 miljoner år sedan, kommer en grupp apmänniskor i kontakt med ett okänt föremål som väcker deras slumrande medvetande till liv och får dem att ta de första stegen i utvecklingen mot en teknologisk civilisation. I romanens andra sekvens hittas i början av 2000-talet ett liknande (eller möjligen samma) föremål nergrävt i en krater på månen, där människan nu etablerat kolonier. Föremålet ges beteckningen TMA-1, men kommer allmänt att gå under benämningen ”monoliten”. I den tredje sekvensen skildras en bemannad färd med rymdskeppet Discovery med destination Saturnus och dess månar (i filmversionen är man istället på väg till Jupiter).
Det är i denna romanens tredje sekvens som vi får lära känna skeppets ”elektroniska hjärna”, den hyperavancerade datorn HAL-9000, som tilltalas ”Hal” av de två besättningsmännen Dave Bowman och Frank Poole. Tre ytterligare astronauter ligger nedsövda i dvala i väntan på att väckas när destinationen nåtts.
Hal övervakar och kontrollerar skeppets alla system, och interagerar med Bowman och Poole när den har något att rapportera eller mottar instruktioner, men också för samtal av mer social natur. Datorns röst beskrivs som ”avslappad och vänlig” och som tidsfördriv spelar de två astronauterna gärna schack och andra spel med sin artificiella kollega, som är programmerad att förlora ungefär vartannat parti för att utgången inte ska vara på förhand given.
De båda rymdfararna anpassar också sin egen konversation med hänsyn till Hal genom att använda ”artiga omskrivningar” för att inte ”genera honom i onödan”. De vänder sig mot manöverbordet när de samtalar med Hal, trots att datorn egentligen saknar en särskild placering utan är allestädes närvarande ombord på skeppet.
Det är uppenbart att Hal har förmågan att lära sig nya saker. Den beskrivs som ”intelligent” och Clarke refererar i detta sammanhang till det berömda Turingtestet:
Frågan huruvida Hal verkligen kunde tänka eller inte hade lösts redan av den brittiske matematikern Alan Turing så tidigt som på 1940-talet. Turing hade påpekat att om man kunde föra ett längre samtal med en maskin […] utan att märka någon skillnad mellan maskinens svar och de svar en människa skulle ha givit, då tänkte faktiskt denna maskin, enligt alla förnuftiga definitioner av ordet tänka. (Clarke, 1970, s. 108)
Turing menade alltså att en AI helt enkelt bara behöver imitera en människa tillräckligt väl för att den skulle anses vara tänkande. På så vis undkommer man den besvärliga och ytterst sett metafysiska frågan vad det innebär att vara tänkande och självmedvetande. Istället sätts kommunikativ förmåga och människans upplevelse av tänkande i centrum. Turingtestet känns oerhört förutseende med tanke på att det skisserades redan på 1940-talet men också en smula problematiskt i ljuset av dagens alltmer sofistikerade chattbotar.
Men Hal framstår inte bara som intelligent utan har även en viss personlighet och ger uttryck för känslor. ”Ni vet ju att jag är uppfylld av största tänkbara entusiasm för detta uppdrag”, försäkrar den. När den uppfattar att Bowman är upprörd föreslår den: ”Jag märker på ditt tonfall, Dave, att du är alldeles för uppskärrad. Varför inte ta en sömntablett och vila litet i stället?”.
Samtalen mellan Hal och besättningen på Discovery framstår emellanåt som slående lik den mellan en mänsklig användare och dagens chattbotar. Lika lite som när vi konverserar med ChatGPT vet Bowman och Poole när deras AI är uppriktig eller ljuger dem rakt i ansiktet. Dess tonfall och språk är lika tvärsäkert och oföränderligt.
Det visar sig emellertid att även Hal kan begå misstag, vilket leder till ödesdigra konsekvenser för Discoverys besättning. Datorn börjar rapportera om kritiska systemfel, rapporter som de två astronauterna kan konstatera är felaktiga. Markkontrollen på jorden låter meddela att Hal verkar ha tagit miste, vilket de kunnat konstatera med hjälp av två lika avancerade datorer i kommandocentralen. De rekommenderar att Hal kopplas ur och kontrollen över skeppet överlåts på en dator på jorden.
Kritiskt i sammanhanget är förstås att Hal har kontrollen över skeppets alla system, inklusive de som håller besättningsmedlemmarna vid liv. Plötsligt bryts kontakten med rymdcentralen. Långsamt går det upp för oss att Hal inte bara börjat krångla utan även har mordiska intentioner. Den lyckas med att ta livet av Poole och de nedsövda besättningsmedlemmarna innan Bowman till slut kan koppla ur Hal.
Förklaringen på Hals beteende visar sig vara en programmeringskonflikt som orsakats av att den getts information om uppdragets sanna natur, vilken av sekretesskäl undanhållits för Bowman och Poole. Den på månen funna utomjordiska monoliten har utsänt en signal mot Saturnusmånen Japetus, där ett annat utomjordiskt objekt antas finnas. Med sin egen AI-logik har Hal konstaterat att uppdragets hemliga syfte att lokalisera och undersöka den utomjordiska artefakten under inga omständigheter får äventyras av Bowmans och Pooles föresats att stänga av den defekta skeppsdatorn. Genom att helt enkelt röja de mänskliga besättningsmedlemmarna ur vägen vill Hal försäkra sig om att uppdraget fullföljs.
I slutändan finner Bowman också en mer mänsklig förklaring till Hals beteende, och beskriver det som ett sorts psykologiskt sammanbrott orsakat av undermedvetna skuldkänslor. Kanske på grund av sina egna känslor vill han helst tro att det aldrig var datorns avsikt att döda Poole, även om dennes död uppenbarligen inte skedde av en slump.
Ett varningsord?
Romanen (liksom filmen) får oss att ställa frågan hur mycket kontroll det är lämpligt att anförtro åt olika AI-system. Likaså att spekulera om under vilka premisser en AI kan tänkas bli opålitlig och utgöra ett hot mot liv och hälsa. Hur kan vi till att börja med förse den med så otvetydiga instruktioner att den aldrig kommer att handla på ett sätt som står i strid med våra egna intentioner? Skulle en AI i verkligheten precis som Hal kunna tolka sina instruktioner så att den börjar ta människor av daga? Eller på egen hand komma fram till slutsatsen att detta är en bra idé?
Dessa frågeställningar kändes förmodligen ganska avlägsna för gemene man när boken och filmen kom till för över 50 år sedan, men knappast så idag. Inom en nära framtid kommer vi högst sannolikt att få uppleva hur artificiell intelligens anförtros alltmer ansvarsfulla sysslor, också över livskritiska system. Ännu har vi kanske fortfarande möjlighet att inte göra oss alltför beroende av olika AI-system, men en dag kommer det sannolikt att vara för sent.
År 2001 kan tolkas som en varning för användningen av AI, även om det inte är entydigt att detta var Clarkes eller Kubricks intention. Vissa kritiker har menat att Hal framstår som berättelsens mest ”mänskliga” karaktär och är en betydligt mer intressant personlighet än någon av de mänskliga huvudpersonerna. Klart är i alla fall att dataföretaget IBM uppfattade filmen som en svartmålning av datortekniken. Företaget hade ett samarbete med Kubrick under produktionen men efter filmens premiär gick man ut med en avrådan till sin personal från att se den. (Abrams, 421)
Själv kan jag efter denna läsning heller inte riktigt släppa tanken på de möjligheter till övervakning som AI ger. I År 2001 kan Hal höra alla konversationer ombord på Discovery och med sitt allestädes närvarande öga ser den allt som händer. Efter att ha läst boken eller sett filmen är det svårt att inte slå en lätt paranoid blick mot sin egen smartphone och fundera på vad som döljer sig där under skalet.
Nästa inlägg i serien: Maskindrömmar i cyberspace
Samtliga inlägg samt ytterligare material finns också publicerat i skriften: Artificiell intelligens – vad vi kan lära av science fiction
Litteraturtips
Kring Arthur C. Clarkes roman och i synnerhet filmversionen av Stanley Kubrick finns en omfattande litteratur. Här följer några exempel på böcker och artiklar.
Abrams, N. (2017). What Was HAL? IBM, Jewishness and Stanley Kubrick’s 2001: A Space Odyssey (1968). Historical Journal of Film, Radio and Television, 37(3): 416-435.
Bizony, P. (2018). The ageless appeal of 2001: A Space Odyssey. Nature: International weekly journal of science.
Bristow, D. (2017). 2001, a space odyssey and Lacanian psychoanalytic theory, Palgrave Macmillan.
Clarke, A. C. (2017 [1968]) 2001 : a space odyssey. Penguin.
Clarke, A. C. (1970), År 2001: en rymdodyssé. Översatt av Roland Adlerberth. Bra böcker.
Groppo, P. (2022). The music of 2001: A Space Odyssey and the sublime object of cinema. Significação: Revista de Cultura Audiovisual 49:58, s. 1-18.
Krämer, P. (2018 [2010]). 2001 : a space odyssey. Bloomesbury.
Landon, B. (2009). Computers in Science Fiction. I Gunn, J, Barr, M. S. & Candelaria, M. (red.) Reading Science Fiction, Palgrave Macmillan, s. 85-95.
Vendy, P. (1999). HAL’s long, long run: computers and social performance in Stanley Kubrick’s 2001. ACM SIGCAS Computers and Society (29:4).
Skrivet av Peter Igelström, bibliotekarie, Vallabiblioteket
För övrigt…
Missa inte föreläsningarna i serien Research just around the corner, som pågår under hösten 2023 och där LiU-forskare presenterar sina framtidsspaningar kring AI:s betydelse för olika verksamheter och samhällsutvecklingen i stort.
