I dagens DN sammanfattar jag mina slutsatser av en diskussion om medvetandet som under våren förts på DNs kultursidor och även på denna blogg.

Den uppfattning jag polemiserat mot går ut på att datorer av väsentligen samma slag som vi nu har att göra med – bara betydligt kraftfullare – per automatik kommer att vara medvetna.  Det enda som krävs är att beräkningarna de utför är tillräkligt komplicerade. Man talar om CTOM: Computational Theory of Mind. Jag tror att detta är strunt. Läs mer på bloggen.

Men det finns en intressant följd av CTOM som gör teorin än mer problematisk. Olle Häggström har nyligen skrivit om detta på sin blogg. Jag hänvisar dit för ytterligare bakgrund och intressanta reflektioner.

Poängen är som följer. Ett medvetande skapat i en dator är rimligen inte avsett att leva isolerat från yttre intryck, lidande under något slags locked-in-syndrom. (I sig en ganska kuslig tanke). Man kan ge det möjlighet att ta emot intryck från den yttre, verkliga, världen, men man kan också välja att låta det leva i en simulerad virtuell värld utan kontakt med yttervärlden. En sådan simulering kan se ut lite hur som helst.  Man kan också tänka sig ett stor antal olika medvetanden som interagerar med varandra i den virtuella världen.

Frågan som då infinner sig är: hur kan du vara säker på att du inte befinner dig i just en sådan värld? Kanske är du bara en artificiell intelligens i en konstgjord virtuell verklighet? Notera att detta inte utgör någon parallell till Matrix-filmerna. Där handlar det ju om riktiga, biologiska och fysisiska hjärnor som kopplats upp mot en virtuell värld. Det är inte den situationen som jag avser utan något ännu mer extremt där i någon mening även medvetandena är del av en datorsimulering. Problemet är att det i princip kan vara helt omöjligt att avgöra om allt, inklusive en själv, är en simulering. Det enda som återstår är att förlita sig på sannolikhetsargument. Hur då?

Rimligen kommer man i framtiden att utnyttja datakraft, liksom idag, till att utföra simuleringar för att göra förutsägelser och att lära om historien. Och varför inte också låta dessa simuleringar innehålla medvetanden, om detta är möjligt, för att göra dem ännu mer realistiska och pålitliga? Man vill förstås testa många olika historiska förlopp för att se vad som händer. Följden blir att det kommer att vara fler medvetanden som är artificiellt framtagna än vad som finns i den verkliga världen. Och om det inte finns något skäl till varför just du skulle vara speciell så följer att det mest sannolika är att du lever i just en sådan artificiell värld.

(Möjligen skulle en serie av osannolika och absurda händelser kunna ses som tecken på att man lever i en konstgjord, experimentell värld. I våra dagar kan Brexit och Trump anföras i detta sammanhang.)

En stor andel av simuleringarna kan mycket väl vara ett resultat av rent tidsfördriv. Olle Häggström leker med tanken på att skaparen av den virtuella värld som vi lever i är en framtida 15-åring som sitter och leker i sitt tonårsum. Givet att dagens dataspel utspelar sig i världar rätt olika den verkliga världen fulla med mystiska monster är det väl i så fall troligare att den verkliga värld där den Store Dataspelaren sitter och leker är helt väsenskild från vår påhittade. I jämförelse kan vår te sig lika absurd som World of Warcraft. Inte ens naturlagarna behöver förövrigt vara lika.

Är det meningsfullt att spekulera i dessa banor? Hur underhållande det än kan vara är det enligt min mening rent strunt. Däremot förefaller det mig vara en ganska naturlig, rentav ofrånkomlig, följd av CTOM, men detta ger mig bara ytterligare ett skäl till varför jag ogillar teorin.

Faktum är att anhängarna till CTOM i praktiken har en syn på världen som i flera aspekter påminner om den religiösa. Det mest uppenbara är uppdelningen i hårdvara och mjukvara som utgör en parallell till kropp och själ. Drömmen om själens odödlighet får sin motsvarighet i hur ett dataprogram kan överföras till nya datorer.

Men frågan om vi lever i en simulerad virtuell verklighet är än mer bestickande, vilket jag redan antytt. Om vi lever i en simulerad värld har man ju också att  göra med den Store Programmeraren utanför den virtuella verkligheten vilken är ansvarig för alltihop och har möjlighet att gripa in och förändra precis vad som helst. Precis som en gud. Och till och med Olle Häggström erkänner i sin blogg att denna möjlighet får honom att se religionen i ett annat ljus. När f-n blir gammal etc etc. De religiösa fundamentalister som förslösar sin tid på intelligent design kanske borde intressera sig för CTOM?

Mig biter dock inget av detta på. Jag avfärdar CTOM och behöver inte befatta mig med resonemangen kring de virtuella världarna.  Mitt budskap är enkelt: både du själv och världen omkring dig existerar. På riktigt.

I’m afraid. I’m afraid, Dave. Dave, my mind is going. I can feel it. I can feel it. My mind is going. There is no question about it. I can feel it. I can feel it. I can feel it. I’m a… fraid.

Olle Häggström undrar i vår pågående diskussion om medvetandet (där jag tycker vi gjort framsteg och fått en del gemensam fast mark under fötterna, se Demokritos fattar galoppen och länkar vidare) hur jag ställer mig till CTOM eller Computational Theory Of Mind. CTOM innebär kortfattat att det till varje komplex beräkning som uppfyller vissa krav hör existensen av ett medvetande. Hur den fysiska basen för beräkningen ser ut är oväsentligt – det må vara kisel är biologi — det är bara själva beräkningen i sig som spelar någon roll.

Skulle alltså ett medvetande som fysiskt fenomen kunna uppstå varhelst rätt typ av beräkningar genomförs? Om hypotesen inte är mer specifik än så är den omöjlig att vare sig bekräfta eller motbevisa vilket förstås inte hindrar att man kan tycka till om den ändå.

Min personliga uppfattning är att CTOM som hypotes är godtycklig och ogrundad. Jag ser inget som helst skäl till varför en digital maskin vars relevanta komponenter, enskilt eller i samspel, kan förstås i termer av välkänd och klassisk fysik skulle kunna leda till något som ett medvetande. Däremot tvingas jag med grund i min egen subjektiva erfarenhet erkänna existensen av ett medvetande i biologiska hjärnor. Den rimligaste slutsatsen, baserat på fysikalisk förståelse och subjektiv erfarenhet, blir att medvetanden så långt är förbehållna biologiska system där medvetande uppstår på ett för oss hittills okänt sätt.

Jag kan inte bevisa att CTOM är fel men jag saknar övertygande argument för varför den skulle vara rimlig. För en kritisk diskussion kring emergens se Demokritos fattar galoppen.

Mitt ställningstagande är inte bara av rent teoretiskt intresse utan får också etiska konsekvenser. De flesta menar nog att ett subjektivt upplevt medvetande är kopplat till någon form av värde. Om man som jag har uppfattningen att andra djur i olika grad har subjektiva medvetanden vill man att de skall behandlas på ett annat sätt än om man uppfattar dem som maskiner. Det innebär också att jag inte skulle tillmäta en dator – oavsett hur många Turingtest den klarar – något som motsvarar ett människovärde baserat på att den skulle vara medveten. Mitt råd till Dave när han tampas med HAL 9000 i 2001 blir alltså: dra ur sladden!

Kommer medvetna och intelligenta robotar att ta över världen? I Forskning och Framsteg nummer 8 kommenterar jag och Olle Häggström en tidigare artikel i tidskriften om artificiell intelligens. Olle har vidareutvecklat sina tankar på sin blogg och jag tar chansen att spinna vidare på mitt blogginlägg Dum, dummare, robot. Läs det för att hänga med i svängarna!

Till skillnad från Olle ställer jag upp på John Searles argument kring det kinesiska rummet. Jag menar helt enkelt att det finns fundamentala svårigheter när vi försöker förstå existensen av vårt subjektiva medvetande. Nuvarande vetenskap kan inte avgöra vilka system som har en subjektiv medvetenhet och kan därför heller inte skilja mellan en medveten varelse och en simulerande zombie. Detta är en avgörande brist vilken manar till försiktighet.

Jag och Olle har olika uppfattningar om detta. Innebär dessa olika utgångspunkter någon skillnad vad gäller oron för framtiden? Inte nödvändigtvis menar Olle och jag håller med. Trots, och i linje med, min (och Searles) argumentation kan det ju i princip vara möjligt att bygga farliga datorer alldeles oavsett om de är medvetna eller ej. Som Olle påpekar blir ju diskussionen om deras medvetenhet tämligen akademisk om de tar över jorden och förintar oss allihop.

Trots detta tenderar de olika utgångspunkterna att leda till olika fokus vad gäller framtida faror.

Dels menar jag att biologiska varelser är enormt mycket mer komplicerade än de maskiner som vi i praktiken kan konstruera och sätta ihop. När vi beskriver biologiska organismer använder vi vilseledande metaforer som antyder pedagogiskt konstruerade maskiner vilka inte på något sätt fångar kraften i miljarder år av evolution. Konsekvensen blir att vi på ett fundamentalt sätt underskattar svårigheterna – detta oavsett vad vi har för uppfattning om medvetandets roll.

Jag menar dessutom att medvetandet är en del av en fysikalisk verklighet som genom evolutionen frambringats hos varelser som människan, och rimligtvis i olika omfattning hos många andra djur, därför att det har ett överlevnadsvärde. Min misstanke är att det därför mycket väl kan finns en skillnad mellan en zombie och en medveten varelse. Detta trots att vi i nuläget inte förstår hur det fungerar.

(Poängen med zombieargumentet är att nuvarande vetenskap inte kan skilja mellan en zombie och en medveten varelse — trots vår egen subjektiva medvetna upplevelse. Däremot utesluter inte argumentet att det i realiteten faktiskt finns skillnader.)

Man kan förstås inte utesluta att man i en framtid faktiskt avslöjar den fysikaliska grunden för medvetenhet, hur den uppkommer, vilken funktion den har etc. Om detta skulle vara något som går att utnyttja teknologiskt, utan att förlita sig på eoner av evolution, kan läget bli ett annat. Men än så länge är detta ren science fiction och inte en del av det vi diskuterar.

Min slutsats blir att de datorer eller robotar som vi konstruerar inom en överblickbar framtid inte kommer ha några större likheter med medvetna hjärnor. Metaforer som går ut på att de är ”medvetna” och agerar med ”avsikt” i någon mänsklig mening riskerar därför att vara direkt missvisande när man skall undvika eller hantera eventuella farliga situationer.

Men inget av detta gör att jag ser framtiden an med någon större tillförsikt än till exempel Olle. Min enkla poäng är att det inte krävs maskiner (eller människor) som i någon bemärkelse är ”smarta” eller ”onda” för att förgöra världen. Lite gammaldags dumhet räcker gott.

Tillägg: Läs fortsättningen i Demokritos fattar galoppen.

I en intervju i BBC i december förra året beskriver Stephen Hawking sin rädsla för att en fullt utvecklad artificiell intelligens (AI) skall ta över världen och göra slut på mänskligheten.

Det senaste numret av Forskning och Framsteg innehåller en intressant artikel signerad en av våra bästa vetenskapsjournalister, Joanna Rose, (apropå Universums död och universitetens ansvar) som handlar om just denna möjlighet. Kan det gå så illa att datorerna genomför ett ondsint maktövertagande?

Hawking är inte ensam. Ett institut för livets framtid har skapats med inblandning av en lång rad framstående vetenskapsmän – och en del kända skådespelare lustigt nog – som specifikt ägnar sig åt den här frågan. De har också dragit igång en namninsamling för att varna för faran och bidra till att styra om forskningen inom området.

Som framgår i F&F finns det olika syn på det här. Det är inte riktigt alla som tror att det är så fullständigt självklart att AI kommer att kunna utveckla de förmågor som en mänsklig hjärna har under en överskådlig framtid. Och jag tror att de har rätt.

En av de personer som ges stor plats i artikeln är John Searle. Han har gjort sig känd för en argumentation som går ut på att det subjektiva medvetandet är ett verkligt existerande fenomen som inte på ett självklart enkelt sätt kan reproduceras av en maskin. Searle menar att det finns en grundläggande skillnad mellan en dators sätt att lösa en uppgift och en hjärnas.

I en grannblogg hävdar Olle Häggström att det finns problem med Searles argumentation. Olle hänvisar till en kommande bok där han kommer att utveckla resonemanget. Jag ser mycket fram emot att läsa den men dristar mig ändå att ge mitt preliminära stöd för grundtanken hos Searle. Jag tror helt enkelt att han i huvudsak har rätt. (Dessa tankar har jag förövrigt uttryckt i eget skrivande i andra sammanhang.)

Låt oss för ett ögonblick inta en strikt hållning där vi inte antar existensen av något utöver vad vi faktiskt kan observera med vetenskapliga instrument. En ganska rimligt vetenskapligt förhållningssätt. Vidare glömmer vi helt bort oss själva i sammanhanget. Det finns då förstås ingen anledning att anta att det finns något slags inre subjektiv erfarenhet hos en sten, ett träd, en räknedosa eller den mest högpresterande AI-maskin. Till vad nytta skulle det vara? Hur skulle man överhuvudtaget kunna representera detta i en värld som med Demokritos ord bara är atomer och tomrum?

Vi kan sedan gå vidare och slarvigt dra samma slutsats rörande en biologisk hjärna. Men där brister det plötsligt. Den egna subjektiva erfarenheten av denna hävdat onödiga subjektiva inre värld blir till en observation som inte omedelbart kan avfärdas.

Var i ligger felet? Det finns de som skulle hävda att resonemanget ovan är missvisande och att medvetandet antingen är en illusion eller någon slags konstruktion som inte har en primär existens i sig. Utifrån detta blir medvetande ett sekundärt fenomen som medföljer varje komplex form av informationsbehandling och det behöver inte nödvändigtvis finnas en skillnad mellan en dator och hjärna. Detta tror jag är att göra det för lätt för sig. Det finns helt enkelt ingen möjlighet att utifrån nuvarande grundläggande naturvetenskap ens på ett principiellt sätt förutsäga vilka objekt som delar denna subjektiva inre erfarenhet och i vilka system den uppträder. Alltså är det något som fattas i beskrivningen. Searle menar att det finns en skillnad mellan syntax, eller symbolhantering, som datorer är bra på, och semantik, där mening kommer in, som är den biologiska hjärnans specialitet. Skillnaden är fundamental.

Man kan också göra en annan observation: hjärnan är ett biologiskt organ. Det finns också andra biologiska organ som hjärta, lever eller mage vilka alla bjuder på rätt stora problem om man skall skapa artificiella motsvarigheter konstruerade från grunden. Jag talar inte om att göra det i någon slarvig principiell mening utan i en konkret och praktisk där det fungerar utan krus, reservationer eller ursäkter. Något som gör exakt vad det ska i skarpt läge.

Av något skäl tycks många mena att en hjärna i någon mening är mycket enklare. Påståendet är att man kan simulera en hjärnas funktion, och därmed dess medvetande, om man bara har en tillräckligt kraftfull dator. Simulera? En simulerad mage smälter inte riktig mat på något meningsfullt sätt alls. Och frågan är om en simulerad hjärna tänker några tankar?

Kroppens samtliga organ, inklusive hjärnan, är ett resultat av miljoner års evolution. De är inte enkla designade konstruktioner där var del har en tydlig och pedagogiskt avgränsad funktion. Det finns en komplexitet som vi helt enkelt inte förstår oss på. Neurologen Antonio Damasio har utvecklat resonemang kring detta i ett antal böcker där han också ifrågasätter hur väl en hypotetiskt isolerad hjärna utan kropp egentligen skulle fungera. Är PC Jersilds ”En levande själ” möjlig ens i teorin?

Detta utesluter förstås inte att hjärnan i grund och botten är ett mekaniskt system som skulle gå att rekonstruera åtminstone i princip, men uppgiften ter sig betydligt svårare. Jag delar Searles pessimism/optimism när det gäller möjligheten att skapa faktiskt medveten artificiell intelligens. För att detta skall bli möjligt krävs fundamentala genombrott, kanske till och med inom grundläggande fysik.

Som teoretisk fysiker vågar jag dessutom vara lite självkritisk till mitt eget skrå. De förenklade modeller som varit så framgångsrika inom den fundamentala fysiken riskerar att förblinda och få oss att tro att saker ibland är enklare än vad de faktiskt är. Jag säger det rent ut: biologi är svårare än fysik.

Men även om allt det jag skriver skulle vara rätt så kan det förstås gå åt skogen ändå. Jag ifrågasätter inte på något sätt att det finns faror med den snabba utvecklingen på området artificiell intelligens. I själva verket är jag nog i någon mening mer oroad än initiativtagarna till uppropet, men kanske på ett lite annat sätt.

Min misstanke är att en datororsakad mänsklighetens undergång inte kommer att vara fullt så glamorös och SF-betonad som det antyds. Det kan istället röra sig om att vi blir fullständigt beroende av tämligen dumma system som brakar samman som resultat av strömavbrott eller avsiktliga och illasinnade sabotage. Kedjereaktioner får sedan resten att kollapsa med anarki och samhällsupplösning som följd. Det kan också handla om dumma system som fixerade på en viss uppgift spårar ur. Datoriserad börshandel som ger instabilitet och kollaps kan vara ett exempel.

Det finns därför något aningen naivt i uppropen. Någon form av bakvänd framstegsoptimism. Varningen för den farliga framtiden blir inte riktigt trovärdig när den blandas med en lite pojkaktig fascination, kanske rentav en önskan om att åtminstone lite grand av mardrömmen trots allt skall slå in.

Tillägg: Läs också Jag robot? från 2015-10-12.