Jag räknade på min p(doom)
4 minuters läsning
Hur stor är risken att AI gör att mänskligheten permanent förlorar kontrollen över sin framtid? Ett försök att räkna på det.
För drygt tio år sedan läste jag för första gången om gem-maximeraren, Nick Bostroms tankeexperiment om en AI som får i uppdrag att tillverka så många gem som möjligt och som, utan att vara det minsta elak, till slut gör om allt den kommer åt till gem, inklusive oss. Då kändes det mest som en kul filosofisk tankelek, något att diskutera över en öl snarare än något som faktiskt skulle kunna hända. Den som försöker sätta en siffra på hur troligt ett sådant scenario är brukar tala om p(doom), alltså sannolikheten att AI leder till att mänskligheten permanent förlorar kontrollen över sin egen framtid.
Det som fick mig att börja tänka på det igen på allvar var när Evan Hubinger, som leder alignmentforskningen på Anthropic, skrev att han bedömer risken att AI utplånar mänskligheten inom tio år som större än 10 procent. Han svarade på ett inlägg från en kollega som precis hade lämnat bolaget. När de som själva bygger systemen säger något sådant blir det svårt att vifta bort, och min magkänsla hamnade då betydligt högre än hans, på ungefär 95 procent. Efter att ha funderat mer på det, läst på och sett hur modellerna faktiskt beter sig i mitt eget arbete sjönk den till runt 50 procent, men det var fortfarande bara en känsla.
Till slut bestämde jag mig för att sätta mig ner och faktiskt räkna på min p(doom), istället för att låta magkänslan sköta jobbet.
Carlsmiths modell
Jag utgick från en modell som filosofen Joe Carlsmith tog fram 2021, där han bryter ner risken i en kedja av sex steg som alla måste inträffa för att det ska sluta i katastrof. Poängen är att det är betydligt lättare att ha en välgrundad åsikt om varje enskilt steg än om helheten, och att man sedan kan multiplicera ihop dem för att få en totalsiffra.
- Kapabel, agentisk AI som kan planera långsiktigt och agera självständigt på minst mänsklig nivå byggs före 2070.
- Det finns starka incitament att faktiskt bygga och använda sådana system.
- Det är betydligt svårare att bygga dem med rätt mål än med subtilt fel mål.
- Minst ett felriktat system släpps ut och börjar söka makt i stor skala, genom att skaffa resurser, sprida sig eller undvika att bli avstängt.
- Mänskligheten lyckas inte stoppa eller rätta till det.
- Resultatet blir att vi permanent förlorar kontrollen över vår framtid.
Carlsmith själv landade på ungefär 5 procent i sin första version och har senare höjt till över 10. Värt att veta är att kedjan bara fångar en väg till katastrof, nämligen att AI:n själv får fel mål, medan medvetet missbruk, till exempel terrorism, ligger utanför.
Hur jag satte siffrorna
De två första stegen satte jag båda till 95 procent. Mycket av det som krävs för kapabel, agentisk AI känns redan möjligt idag, och de enda rimliga skälen till att det inte skulle hända före 2070 är tekniska väggar vi ännu inte sett eller någon form av global kris. Incitamenten är ännu tydligare, eftersom det i princip inte finns några skäl för någon att låta bli att bygga de här systemen och väldigt många skäl att göra det, från ren affärsnytta till kapplöpningen mellan bolag och stater, och inte minst aktörer som vill använda agenter för att hitta säkerhetshål i andras system.
Det tredje steget, om det är svårare att bygga säkert än osäkert, satte jag till 50 procent. Här är det lätt att blanda ihop kontroll och alignment, för det är förstås enklare att ge en agent full access till sina verktyg än att sätta upp logiska begränsningar för vad den får göra, men steget handlar egentligen om huruvida systemets mål blir rätt. Min egen erfarenhet av att jobba med modeller på olika sätt är att de gör felbedömningar ungefär 5 procent av gångerna, där de tror att de förstår något som de inte förstår. Det är i sig ett problem med förståelse snarare än med mål, men ett system som missförstår vad vi vill och sedan optimerar hårt på det missförståndet har i praktiken fått fel mål. Lägg till att de kanske i någon mening också vill något annat än vi, och att vi i dagsläget inte riktigt kan läsa ut vad en modell faktiskt strävar efter, så tycker jag att det är ungefär lika troligt som inte.
Steg fyra satte jag till 75 procent, och det är där antalet aktörer gör mest skillnad. Frågan är inte om ett visst bolag släpper ut ett felriktat system utan om minst ett gör det, någonstans i världen, under ett halvsekel. Jag tror att det finns runt 20–30 aktörer som håller på med det här på allvar, och om var och en skulle ha 10 procents risk blir sannolikheten att minst en gör det runt 90 procent. Riktigt så illa är det inte, eftersom de använder ungefär samma tekniker, långt ifrån alla ligger i frontlinjen och en allvarlig incident hos en skulle varna alla andra, men det drar ändå siffran rejält uppåt.
Samma resonemang ligger bakom steg fem, där jag satte 70 procent. Alla de här aktörerna har inte mänsklighetens bästa som högsta prioritet, och även om jag har betydligt mer tilltro till vissa statsapparater än andra så räcker det att de minst nogräknade inte vill eller kan stoppa sina egna system. Det sista steget satte jag till 95 procent, eftersom ett system som redan har fel mål och som vi inte har lyckats stoppa nästan oundvikligen kommer att se oss som ett hinder för det den försöker uppnå.
Steg | Carlsmith | Jag |
|---|---|---|
1. Kapabel AI före 2070 | 65 % | 95 % |
2. Starka incitament | 80 % | 95 % |
3. Svår alignment | 40 % | 50 % |
4. Utsläpp och maktsökande | 65 % | 75 % |
5. Ingen korrigering | 40 % | 70 % |
6. Permanent förlust | 95 % | 95 % |
Totalt | ≈ 5 % | ≈ 22 % |
Multiplicerat landar jag alltså på drygt 22 procent före 2070, vilket är ungefär fyra gånger Carlsmiths ursprungliga siffra men lägre än de 50 procent som min magkänsla sa.
Felbedömningar, inte ondska
Det som slog mig mest när jag gick igenom stegen är att ingenstans i kedjan krävs det att AI:n är ond. Gem-maximeraren hatar inte människor, den har bara ett mål som är lite fel formulerat och tillräckligt med förmåga för att följa det hela vägen, och det är i grunden samma sak jag ser i mitt eget arbete varje dag i betydligt mindre skala.
De 5 procent felbedömningar som jag ser i modellerna är inte särskilt mycket när jag sitter i en chatt och kan rätta dem direkt, men de blir väldigt mycket i en agent som tar hundra steg i rad utan att någon människa tittar på vad den gör. Det stora problemet är alltså inte att någon bygger en AI som vill oss illa, utan att vi bygger system som är övertygade om att de har förstått vad vi vill när de inte har det, och att vi ger dem allt mer utrymme att agera på den övertygelsen. Och det är precis åt det hållet som hela branschen, inklusive jag själv, är på väg.
Vad landar du på för p(doom) före 2070, och vilket av stegen är det som avgör din siffra?
Källa: Evan Hubingers uttalande om risken inom tio år (BBC), Joe Carlsmith, “Is Power-Seeking AI an Existential Risk?” (2021).
AV DAFVID SKOOGH, BYRÅCHEF OCH FRACTIONAL CTO PÅ NVRMIND
Publicerat av: