Vi blir bara dummare och dummare

 

Egentligen gick det väl snett redan för 20000 år sedan då människans hjärna antas ha varit som allra störst, även om vi under en stor del av 1900-talet har kunnat trösta oss med ett stigande IQ. Sedan  kom Windows 95.

I tidskriften Intelligence (var annars) kan man läsa om hur tonåringar världen över, inte minst i Skandinavien, blir allt dummare för varje generation. (Se också här.)  Effekten är stor. I ett trettioårigt perspektiv handlar det om ungefär sju steg på IQ-skalan i fel riktning. Detta är ett enormt tapp sett som ett medelvärde och tappet sker dessutom inte likformigt över alla begåvningsnivåer. Det är främst i det högre skiktet som försämringen sker och innebär därför att de yngre medlemmarna av den så kallade eliten inte längre har alla flingorna i paketet. De som förväntas styra och ställa i världen, hitta på de nya fiffiga uppfinningarna och i största allmänhet hålla reda på saker och ting börjar bli som folk är mest. Någon skillnad vad gäller kön kan inte skönjas. Flickor och pojkar dyker tillsammans.

Och vad är då förklaringen? Jag har redan gett den: Windows 95. Trendbrottet kom i mitten av 1990-talet och kopplas till ett alltmer utbrett skärmtittande i olika form. Det som tar stryk är förmågan till koncentration vilket i sin tur är en riskfaktor för dumhet.

Vilka är det då som påstår detta? Det handlar om två nyzeeländska forskare, James Flynn och Michael Shayer. Förvisso hör de till en generation som nog gärna tycker ju förr dess bättre, men det är icke desto mindre oroväckande resultat de presenterar. Flynn är heller inte vem som helst. Det var just han som upptäckte den ökning av intelligenskvoten som vi hittills kunnat glädja oss åt: den så kallade Flynneffekten. Och som nu alltså har gått in i väggen.

Så hur skall man hantera utvecklingen? Receptet är enkelt. Arbetsgivare bör tänka sig för när de anställer någon under 40, föräldrar bör dra ur sladden och tvinga sina barn att läsa böcker. Tjocka böcker. Och du själv bör inte läsa alltför många bloggar.

Världen är på riktigt

I dagens DN sammanfattar jag mina slutsatser av en diskussion om medvetandet som under våren förts på DNs kultursidor och även på denna blogg.

Den uppfattning jag polemiserat mot går ut på att datorer av väsentligen samma slag som vi nu har att göra med – bara betydligt kraftfullare – per automatik kommer att vara medvetna.  Det enda som krävs är att beräkningarna de utför är tillräkligt komplicerade. Man talar om CTOM: Computational Theory of Mind. Jag tror att detta är strunt. Läs mer på bloggen.

matrix

Men det finns en intressant följd av CTOM som gör teorin än mer problematisk. Olle Häggström har nyligen skrivit om detta på sin blogg. Jag hänvisar dit för ytterligare bakgrund och intressanta reflektioner.

Poängen är som följer. Ett medvetande skapat i en dator är rimligen inte avsett att leva isolerat från yttre intryck, lidande under något slags locked-in-syndrom. (I sig en ganska kuslig tanke). Man kan ge det möjlighet att ta emot intryck från den yttre, verkliga, världen, men man kan också välja att låta det leva i en simulerad virtuell värld utan kontakt med yttervärlden. En sådan simulering kan se ut lite hur som helst.  Man kan också tänka sig ett stor antal olika medvetanden som interagerar med varandra i den virtuella världen.

Frågan som då infinner sig är: hur kan du vara säker på att du inte befinner dig i just en sådan värld? Kanske är du bara en artificiell intelligens i en konstgjord virtuell verklighet? Notera att detta inte utgör någon parallell till Matrix-filmerna. Där handlar det ju om riktiga, biologiska och fysisiska hjärnor som kopplats upp mot en virtuell värld. Det är inte den situationen som jag avser utan något ännu mer extremt där i någon mening även medvetandena är del av en datorsimulering. Problemet är att det i princip kan vara helt omöjligt att avgöra om allt, inklusive en själv, är en simulering. Det enda som återstår är att förlita sig på sannolikhetsargument. Hur då?

Rimligen kommer man i framtiden att utnyttja datakraft, liksom idag, till att utföra simuleringar för att göra förutsägelser och att lära om historien. Och varför inte också låta dessa simuleringar innehålla medvetanden, om detta är möjligt, för att göra dem ännu mer realistiska och pålitliga? Man vill förstås testa många olika historiska förlopp för att se vad som händer. Följden blir att det kommer att vara fler medvetanden som är artificiellt framtagna än vad som finns i den verkliga världen. Och om det inte finns något skäl till varför just du skulle vara speciell så följer att det mest sannolika är att du lever i just en sådan artificiell värld.

(Möjligen skulle en serie av osannolika och absurda händelser kunna ses som tecken på att man lever i en konstgjord, experimentell värld. I våra dagar kan Brexit och Trump anföras i detta sammanhang.)

En stor andel av simuleringarna kan mycket väl vara ett resultat av rent tidsfördriv. Olle Häggström leker med tanken på att skaparen av den virtuella värld som vi lever i är en framtida 15-åring som sitter och leker i sitt tonårsum. Givet att dagens dataspel utspelar sig i världar rätt olika den verkliga världen fulla med mystiska monster är det väl i så fall troligare att den verkliga värld där den Store Dataspelaren sitter och leker är helt väsenskild från vår påhittade. I jämförelse kan vår te sig lika absurd som World of Warcraft. Inte ens naturlagarna behöver förövrigt vara lika.

Är det meningsfullt att spekulera i dessa banor? Hur underhållande det än kan vara är det enligt min mening rent strunt. Däremot förefaller det mig vara en ganska naturlig, rentav ofrånkomlig, följd av CTOM, men detta ger mig bara ytterligare ett skäl till varför jag ogillar teorin.

Faktum är att anhängarna till CTOM i praktiken har en syn på världen som i flera aspekter påminner om den religiösa. Det mest uppenbara är uppdelningen i hårdvara och mjukvara som utgör en parallell till kropp och själ. Drömmen om själens odödlighet får sin motsvarighet i hur ett dataprogram kan överföras till nya datorer.

Men frågan om vi lever i en simulerad virtuell verklighet är än mer bestickande, vilket jag redan antytt. Om vi lever i en simulerad värld har man ju också att  göra med den Store Programmeraren utanför den virtuella verkligheten vilken är ansvarig för alltihop och har möjlighet att gripa in och förändra precis vad som helst. Precis som en gud. Och till och med Olle Häggström erkänner i sin blogg att denna möjlighet får honom att se religionen i ett annat ljus. När f-n blir gammal etc etc. De religiösa fundamentalister som förslösar sin tid på intelligent design kanske borde intressera sig för CTOM?

Mig biter dock inget av detta på. Jag avfärdar CTOM och behöver inte befatta mig med resonemangen kring de virtuella världarna.  Mitt budskap är enkelt: både du själv och världen omkring dig existerar. På riktigt.

Dra ur sladden!

I’m afraid. I’m afraid, Dave. Dave, my mind is going. I can feel it. I can feel it. My mind is going. There is no question about it. I can feel it. I can feel it. I can feel it. I’m a… fraid.

Olle Häggström undrar i vår pågående diskussion om medvetandet (där jag tycker vi gjort framsteg och fått en del gemensam fast mark under fötterna, se Demokritos fattar galoppen och länkar vidare) hur jag ställer mig till CTOM eller Computational Theory Of Mind. CTOM innebär kortfattat att det till varje komplex beräkning som uppfyller vissa krav hör existensen av ett medvetande. Hur den fysiska basen för beräkningen ser ut är oväsentligt – det må vara kisel är biologi — det är bara själva beräkningen i sig som spelar någon roll.

Skulle alltså ett medvetande som fysiskt fenomen kunna uppstå varhelst rätt typ av beräkningar genomförs? Om hypotesen inte är mer specifik än så är den omöjlig att vare sig bekräfta eller motbevisa vilket förstås inte hindrar att man kan tycka till om den ändå.

Min personliga uppfattning är att CTOM som hypotes är godtycklig och ogrundad. Jag ser inget som helst skäl till varför en digital maskin vars relevanta komponenter, enskilt eller i samspel, kan förstås i termer av välkänd och klassisk fysik skulle kunna leda till något som ett medvetande. Däremot tvingas jag med grund i min egen subjektiva erfarenhet erkänna existensen av ett medvetande i biologiska hjärnor. Den rimligaste slutsatsen, baserat på fysikalisk förståelse och subjektiv erfarenhet, blir att medvetanden så långt är förbehållna biologiska system där medvetande uppstår på ett för oss hittills okänt sätt.

Jag kan inte bevisa att CTOM är fel men jag saknar övertygande argument för varför den skulle vara rimlig. För en kritisk diskussion kring emergens se Demokritos fattar galoppen.

Mitt ställningstagande är inte bara av rent teoretiskt intresse utan får också etiska konsekvenser. De flesta menar nog att ett subjektivt upplevt medvetande är kopplat till någon form av värde. Om man som jag har uppfattningen att andra djur i olika grad har subjektiva medvetanden vill man att de skall behandlas på ett annat sätt än om man uppfattar dem som maskiner. Det innebär också att jag inte skulle tillmäta en dator – oavsett hur många Turingtest den klarar – något som motsvarar ett människovärde baserat på att den skulle vara medveten. Mitt råd till Dave när han tampas med HAL 9000 i 2001 blir alltså: dra ur sladden!

256px-HAL9000.svg

Demokritos fattar galoppen

Min och Olle Häggströms stillsamma diskussion om huruvida den mänskliga civilisationens undergång kommer att orsakas av dumma människor eller smarta robotar har utlöst en engagerad nätdebatt om vad medvetandet egentligen är för någonting. Se bland annat Patrik Lindenfors.

Svårigheten i debatten är skiftande meningar om i vad mån det finns en fråga, i så fall vilken den är och om den är meningsfull, med följden att vi gladeligen pratar förbi varandra. Låt mig i bästa samförståndsanda göra ett nytt försök. Jag börjar i en lite mindre ambitiös ände med några reflektioner kring hur hjärnor fungerar. Det följande är en fortsättning på Dum, dummare, robot och Jag robot?

Det står utom all tvivel att man genom naturvetenskapliga studier av hjärnan som ett fysiskt objekt, tillsammans med observationer av försöksdjurs beteende (eller försökspersoners utsagor) kan lära sig mycket om hur en hjärna bearbetar den information som den snappar upp.

Det är mycket möjligt att begrepp som emergens kommer att spela en viktig roll när man väl förstår hur det fungerar. Emergens handlar om hur komplexa system kan tillskrivas egenskaper som inte uppbärs av de enskilda beståndsdelarna. Orkaner och fågelflockar utgör ett par välkända exempel och biologiskt evolverade informationshanterande system kan utgöra andra.

Jag vidhåller att det faktum att hjärnan är ett resultat av evolutionen är en viktig ledtråd när man skall förstå sig på dess funktion. Vilka metaforer och tankefigurer vi låter vägleda oss av är långt från betydelselöst. I våra dagar är det populärt inom många områden att resonera i termer av mjuk- och hårdvara. Synsättet är så väl inrotat att det tas som givet och man glömmer att det i allmänhet bara utgör förenklade modeller som vi mer eller mindre framgångsrikt använder oss av. Det är inte på något sätt självklart att en parallell till datorer i termer av mjuk- och hårdvara framgångsrikt fångar alla aspekter av hur hjärnan fungerar.

Det är viktigt att inte förväxla våra modeller och förutfattade meningar med ett faktiskt existerande naturligt objekt. (Många missuppfattningar inom fundamental fysik handlar om just detta.) Det är en avgörande skillnad mellan en biologisk hjärna och en konstruerad och skapad dator som blivit till för ett syfte och där konstruktören kan berätta på ett meningsfullt sätt om hur det var tänkt med mjukt och hårt. Något sådant är inte fallet med hjärnan som utgör en fysisk helhet. Detta förhindrar inte att man kan göra framsteg också med ett sådant synsätt men jag kan inte se annat än att det måste ha sina begränsningar. Syftet med min jämförelse av en simulerad hjärna och en simulerad mage i Dum, dummare, robot var att peka på detta.

(Exempel på skadliga metaforer finns det gott om också inom fysiken. Inte minst när det talas om den kosmiska bakgrundsstålningen som ”Guds ansikte”, eller Higgspartikeln som ”Gudspartikeln”. Vad leder detta till för slags förväntningar på hur universum ser ut? Själv biter jag mig alltid i tungan när jag råkar säga ”universums skapelse”.)

Det är förövrigt lustigt hur väl begreppen hård- och mjukvara lyckats föra det dualistiska arvet med kropp och själ vidare i en ny skepnad. I sammanhanget har det anförts att jag lägger alltför mycket fokus på kött och materia. Men vad skulle det annars handla om?

Lägg märke till att jag än så länge egentligen inte sagt någonting om vad medvetandet är. Inte ens dess existens har spelat någon roll. Jag har egentligen bara berört hjärnans yttre funktion. Så länge observatörens subjektivt upplevda medvetande hålls utanför ekvationen finns det ju inte så mycket att bekymra sig över. Modeller, tankar och mönster kan betraktas som delar av vår bild av världen och kategoriseras som ”ickefysikaliska” men icke desto mindre existerande. Så länge de håller hus i vårt medvetande innebär det ingen motsägelse.

Men med denna begränsning kan man förstås heller inte vetenskapligt komma vidare med frågan om vad medvetandet egentligen är för någonting. Å andra sidan kan frågan i detta perspektiv betraktas som ointressant eller meningslös. Mer eller mindre per definition finns det ju heller ingen möjlighet att objektivt studera det subjektiva och då torde det väl heller inte vara något lämpligt ämne för den som vill åstadkomma reella framsteg? Vissa vill stanna just där.

Men det retsamma är att den subjektiva upplevelsen knepigt nog tycks vara högst verklig i alla fall. Den springande punkten gäller i vad mån man nöjer sig med detta eller vill reflektera vidare – förvisso utan hopp om att nå någon större framgång.

Fällan det är lätt att gå i utgörs av att man trivialiserar frågan och återigen hänvisar till emergens och något ickemateriellt eller ickefysiskaliskt. Min bestämda uppfattning är att detta inte duger. Har man gett sig in i leken får man leken tåla. Om man betraktar medvetandet som något som det är möjligt att foga in i en naturvetenskaplig beskrivning måste det också vara något fysiskt. Eller så finns det inte alls. Den enda platsen för ickefysikaliska företeelser är inom ramen för ett medvetande som vi lämnat utanför den fysiska världen.

demokritos

Demokritos var tidigt detta på spåren:

Av sedvänja finns färg

Av sedvänja finns sötma

Av sedvänja finns bitter smak

Men i verkligheten finns atomer och tomrum.

Så hur skall vi ha det? Det finns två alternativ. Antingen konstaterar man att frågan saknar praktisk betydelse och försöker via spetsfundigheter sopa den under mattan. Eller så accepterar man att det finns en fundamental gåta där man kan ha olika förhoppning om den någonsin kommer att få sin lösning. Jag håller på det senare.

 

Jag robot?

Kommer medvetna och intelligenta robotar att ta över världen? I Forskning och Framsteg nummer 8 kommenterar jag och Olle Häggström en tidigare artikel i tidskriften om artificiell intelligens. Olle har vidareutvecklat sina tankar på sin blogg och jag tar chansen att spinna vidare på mitt blogginlägg Dum, dummare, robot. Läs det för att hänga med i svängarna!

Till skillnad från Olle ställer jag upp på John Searles argument kring det kinesiska rummet. Jag menar helt enkelt att det finns fundamentala svårigheter när vi försöker förstå existensen av vårt subjektiva medvetande. Nuvarande vetenskap kan inte avgöra vilka system som har en subjektiv medvetenhet och kan därför heller inte skilja mellan en medveten varelse och en simulerande zombie. Detta är en avgörande brist vilken manar till försiktighet.

Jag och Olle har olika uppfattningar om detta. Innebär dessa olika utgångspunkter någon skillnad vad gäller oron för framtiden? Inte nödvändigtvis menar Olle och jag håller med. Trots, och i linje med, min (och Searles) argumentation kan det ju i princip vara möjligt att bygga farliga datorer alldeles oavsett om de är medvetna eller ej. Som Olle påpekar blir ju diskussionen om deras medvetenhet tämligen akademisk om de tar över jorden och förintar oss allihop.

Trots detta tenderar de olika utgångspunkterna att leda till olika fokus vad gäller framtida faror.

DataTNG

Dels menar jag att biologiska varelser är enormt mycket mer komplicerade än de maskiner som vi i praktiken kan konstruera och sätta ihop. När vi beskriver biologiska organismer använder vi vilseledande metaforer som antyder pedagogiskt konstruerade maskiner vilka inte på något sätt fångar kraften i miljarder år av evolution. Konsekvensen blir att vi på ett fundamentalt sätt underskattar svårigheterna – detta oavsett vad vi har för uppfattning om medvetandets roll.

Jag menar dessutom att medvetandet är en del av en fysikalisk verklighet som genom evolutionen frambringats hos varelser som människan, och rimligtvis i olika omfattning hos många andra djur, därför att det har ett överlevnadsvärde. Min misstanke är att det därför mycket väl kan finns en skillnad mellan en zombie och en medveten varelse. Detta trots att vi i nuläget inte förstår hur det fungerar.

(Poängen med zombieargumentet är att nuvarande vetenskap inte kan skilja mellan en zombie och en medveten varelse — trots vår egen subjektiva medvetna upplevelse. Däremot utesluter inte argumentet att det i realiteten faktiskt finns skillnader.)

Man kan förstås inte utesluta att man i en framtid faktiskt avslöjar den fysikaliska grunden för medvetenhet, hur den uppkommer, vilken funktion den har etc. Om detta skulle vara något som går att utnyttja teknologiskt, utan att förlita sig på eoner av evolution, kan läget bli ett annat. Men än så länge är detta ren science fiction och inte en del av det vi diskuterar.

Min slutsats blir att de datorer eller robotar som vi konstruerar inom en överblickbar framtid inte kommer ha några större likheter med medvetna hjärnor. Metaforer som går ut på att de är ”medvetna” och agerar med ”avsikt” i någon mänsklig mening riskerar därför att vara direkt missvisande när man skall undvika eller hantera eventuella farliga situationer.

Men inget av detta gör att jag ser framtiden an med någon större tillförsikt än till exempel Olle. Min enkla poäng är att det inte krävs maskiner (eller människor) som i någon bemärkelse är ”smarta” eller ”onda” för att förgöra världen. Lite gammaldags dumhet räcker gott.

Tillägg: Läs fortsättningen i Demokritos fattar galoppen.

Dum, dummare, robot

I en intervju i BBC i december förra året beskriver Stephen Hawking sin rädsla för att en fullt utvecklad artificiell intelligens (AI) skall ta över världen och göra slut på mänskligheten.

fof1507_lrez

Det senaste numret av Forskning och Framsteg innehåller en intressant artikel signerad en av våra bästa vetenskapsjournalister, Joanna Rose, (apropå Universums död och universitetens ansvar) som handlar om just denna möjlighet. Kan det gå så illa att datorerna genomför ett ondsint maktövertagande?

Hawking är inte ensam. Ett institut för livets framtid har skapats med inblandning av en lång rad framstående vetenskapsmän – och en del kända skådespelare lustigt nog – som specifikt ägnar sig åt den här frågan. De har också dragit igång en namninsamling för att varna för faran och bidra till att styra om forskningen inom området.

Som framgår i F&F finns det olika syn på det här. Det är inte riktigt alla som tror att det är så fullständigt självklart att AI kommer att kunna utveckla de förmågor som en mänsklig hjärna har under en överskådlig framtid. Och jag tror att de har rätt.

En av de personer som ges stor plats i artikeln är John Searle. Han har gjort sig känd för en argumentation som går ut på att det subjektiva medvetandet är ett verkligt existerande fenomen som inte på ett självklart enkelt sätt kan reproduceras av en maskin. Searle menar att det finns en grundläggande skillnad mellan en dators sätt att lösa en uppgift och en hjärnas.

I en grannblogg hävdar Olle Häggström att det finns problem med Searles argumentation. Olle hänvisar till en kommande bok där han kommer att utveckla resonemanget. Jag ser mycket fram emot att läsa den men dristar mig ändå att ge mitt preliminära stöd för grundtanken hos Searle. Jag tror helt enkelt att han i huvudsak har rätt. (Dessa tankar har jag förövrigt uttryckt i eget skrivande i andra sammanhang.)

Låt oss för ett ögonblick inta en strikt hållning där vi inte antar existensen av något utöver vad vi faktiskt kan observera med vetenskapliga instrument. En ganska rimligt vetenskapligt förhållningssätt. Vidare glömmer vi helt bort oss själva i sammanhanget. Det finns då förstås ingen anledning att anta att det finns något slags inre subjektiv erfarenhet hos en sten, ett träd, en räknedosa eller den mest högpresterande AI-maskin. Till vad nytta skulle det vara? Hur skulle man överhuvudtaget kunna representera detta i en värld som med Demokritos ord bara är atomer och tomrum?

Vi kan sedan gå vidare och slarvigt dra samma slutsats rörande en biologisk hjärna. Men där brister det plötsligt. Den egna subjektiva erfarenheten av denna hävdat onödiga subjektiva inre värld blir till en observation som inte omedelbart kan avfärdas.

Var i ligger felet? Det finns de som skulle hävda att resonemanget ovan är missvisande och att medvetandet antingen är en illusion eller någon slags konstruktion som inte har en primär existens i sig. Utifrån detta blir medvetande ett sekundärt fenomen som medföljer varje komplex form av informationsbehandling och det behöver inte nödvändigtvis finnas en skillnad mellan en dator och hjärna. Detta tror jag är att göra det för lätt för sig. Det finns helt enkelt ingen möjlighet att utifrån nuvarande grundläggande naturvetenskap ens på ett principiellt sätt förutsäga vilka objekt som delar denna subjektiva inre erfarenhet och i vilka system den uppträder. Alltså är det något som fattas i beskrivningen. Searle menar att det finns en skillnad mellan syntax, eller symbolhantering, som datorer är bra på, och semantik, där mening kommer in, som är den biologiska hjärnans specialitet. Skillnaden är fundamental.

Man kan också göra en annan observation: hjärnan är ett biologiskt organ. Det finns också andra biologiska organ som hjärta, lever eller mage vilka alla bjuder på rätt stora problem om man skall skapa artificiella motsvarigheter konstruerade från grunden. Jag talar inte om att göra det i någon slarvig principiell mening utan i en konkret och praktisk där det fungerar utan krus, reservationer eller ursäkter. Något som gör exakt vad det ska i skarpt läge.

Av något skäl tycks många mena att en hjärna i någon mening är mycket enklare. Påståendet är att man kan simulera en hjärnas funktion, och därmed dess medvetande, om man bara har en tillräckligt kraftfull dator. Simulera? En simulerad mage smälter inte riktig mat på något meningsfullt sätt alls. Och frågan är om en simulerad hjärna tänker några tankar?

Kroppens samtliga organ, inklusive hjärnan, är ett resultat av miljoner års evolution. De är inte enkla designade konstruktioner där var del har en tydlig och pedagogiskt avgränsad funktion. Det finns en komplexitet som vi helt enkelt inte förstår oss på. Neurologen Antonio Damasio har utvecklat resonemang kring detta i ett antal böcker där han också ifrågasätter hur väl en hypotetiskt isolerad hjärna utan kropp egentligen skulle fungera. Är PC Jersilds ”En levande själ” möjlig ens i teorin?

Detta utesluter förstås inte att hjärnan i grund och botten är ett mekaniskt system som skulle gå att rekonstruera åtminstone i princip, men uppgiften ter sig betydligt svårare. Jag delar Searles pessimism/optimism när det gäller möjligheten att skapa faktiskt medveten artificiell intelligens. För att detta skall bli möjligt krävs fundamentala genombrott, kanske till och med inom grundläggande fysik.

Som teoretisk fysiker vågar jag dessutom vara lite självkritisk till mitt eget skrå. De förenklade modeller som varit så framgångsrika inom den fundamentala fysiken riskerar att förblinda och få oss att tro att saker ibland är enklare än vad de faktiskt är. Jag säger det rent ut: biologi är svårare än fysik.

Men även om allt det jag skriver skulle vara rätt så kan det förstås gå åt skogen ändå. Jag ifrågasätter inte på något sätt att det finns faror med den snabba utvecklingen på området artificiell intelligens. I själva verket är jag nog i någon mening mer oroad än initiativtagarna till uppropet, men kanske på ett lite annat sätt.

Min misstanke är att en datororsakad mänsklighetens undergång inte kommer att vara fullt så glamorös och SF-betonad som det antyds. Det kan istället röra sig om att vi blir fullständigt beroende av tämligen dumma system som brakar samman som resultat av strömavbrott eller avsiktliga och illasinnade sabotage. Kedjereaktioner får sedan resten att kollapsa med anarki och samhällsupplösning som följd. Det kan också handla om dumma system som fixerade på en viss uppgift spårar ur. Datoriserad börshandel som ger instabilitet och kollaps kan vara ett exempel.

Det finns därför något aningen naivt i uppropen. Någon form av bakvänd framstegsoptimism. Varningen för den farliga framtiden blir inte riktigt trovärdig när den blandas med en lite pojkaktig fascination, kanske rentav en önskan om att åtminstone lite grand av mardrömmen trots allt skall slå in.

Tillägg: Läs också Jag robot? från 2015-10-12.