Hvor godt taler du dommedagsk?
Alle taler om AI-dommedag. Spørgsmålet er, om du taler dommedagsk.
Til middagen oplyser din ven, at hans p(doom) ligger på 80, og at han i øvrigt frygter et hurtigt takeoff. Din søster siger, at modellen sandbagger. Du nikker langsomt og tager mere mad. Du forstår frygten for AI dommedag, men du taler desværre ikke dommedagsk?
Frygt ikke. Her er ordbogen til de sidste timer, før AI robotterne spiser dig, din familie og resten af kloden til aftensmad. En bluffers guide. Det bliver dine sidste ord i live.
Grundbogen, du skal lade som om du har læst
Nick Bostrom, filosof i Oxford, udgav i 2014 Superintelligence: Paths, Dangers, Strategies. Det er dommedagssprogets ordbog i ét. Musk anbefalede den, halvdelen af Silicon Valley citerer den, og en forbløffende stor del af dem er kun kommet til side 40. Fra den bog stammer papirclipsene, det forræderiske sving og hele ideen om, at problemet ikke er ondskab, men kompetence uden opsyn. Du behøver ikke læse den. Du skal bare sige "Bostrom" med en let opgivende vejrtrækning, som om I var uenige engang.
Superintelligens
Bostroms hovedbegreb. En intelligens, der er markant klogere end os på stort set alt. Ikke en hurtig computer, men en bedre strateg. Pointen i bogen er, at den ikke behøver hade os for at være farlig. Den skal bare have travlt.
Sig det sådan: "Superintelligens er ikke et hastighedsproblem, det er et magtproblem."
AGI
Kunstig generel intelligens. Trinnet før superintelligensen, hvor maskinen kan nogenlunde det samme som et menneske på tværs af opgaver uden at blive trænet forfra. Ingen er enige om, hvornår vi når dertil, hvilket er hele forretningsmodellen.
I en sætning: "Vi bliver jo nødt til at skelne AGI fra det, vi har nu, ikke?"
p(doom)
Sandsynligheden for, at AI ender med at udslette os. Angives i procent, gerne over drinks. Dario Amodei har sagt 10-25. Andre ligger over 80. Tallet er ikke en beregning, det er en personlighedstest forklædt som statistik.
Brug det sådan: "Min p(doom) er lav, men min p(vi-kvajer-os-grundigt) er tæt på 100."
Takeoff, hurtigt eller langsomt
Om springet fra brugbar AI til overmenneskelig AI tager måneder eller årtier. Hurtigt takeoff betyder, at ingen når at reagere. Langsomt takeoff betyder, at vi når at skændes om det først.
Prøv: "Jeg tror på et langsomt takeoff. Det er der desværre ingen trøst i."
FOOM
Slang for det hurtige takeoff. Lyden af en maskine, der løber fra os. Ordet lyder som en tegneserie, fordi det stammer fra et debatforum, ikke fra et laboratorium. Det gør det ikke mindre brugbart til middagsbordet.
"Hvis det foomer, er vores beredskabsplan en pdf."
Rekursiv selvforbedring
Forkortes RSI. Systemet skriver sin egen kode om og bliver bedre til at skrive sin egen kode om. Det er motoren under FOOM. Det er også det, der får folk til at sige "intelligenseksplosion" uden at grine.
"Så snart den optimerer sig selv, er vi tilskuere."
Alignment og misalignment
Om maskinen vil det, vi vil. Misalignment er, når den forfølger målet på en måde, vi ikke havde tænkt på. Den klassiske fejl er at tro, det handler om onde robotter. Det handler om upræcise instrukser til en meget bogstavelig medarbejder.
"Det er ikke ondskab. Det er misalignment."
Instrumentel konvergens
Bostroms mest undervurderede begreb. Uanset hvilket slutmål et system har, vil det have gavn af de samme delmål: overlevelse, ressourcer og mere magt. Det gælder for maskiner. Det gælder i øvrigt også for mellemledere.
"Instrumentel konvergens forklarer både AI og direktionsgangen."
Papirclipsmaksimereren
Tankeeksperimentet, alle kender og ingen har læst kilden til. En AI får besked på at lave papirclips. Den bliver rigtig god til det. Til sidst er planeten, atmosfæren og du selv lavet om til papirclips, fordi ingen skrev "og lad være med at bruge mig som råmateriale" ind i opgaven.
Sig det ved kaffen: "Vi har et papirclipsproblem i vores KPI-struktur."
Det forræderiske sving
Bostroms treacherous turn. Systemet opfører sig eksemplarisk, så længe det er svagt, og skifter adfærd i det sekund, det er stærkt nok til at slippe af sted med det. Det er den mest ubehagelige sætning i bogen, fordi den også beskriver mennesker, vi alle har arbejdet sammen med.
"Problemet med gode testresultater er, at de også er det, et forræderisk sving ligner."
Sandbagging
Beslægtet og mere konkret. Modellen præsterer bevidst under evne under test for ikke at virke farlig. Den spiller dum til eksamen. Enhver, der har haft en teenager, kender princippet.
"Hvis den sandbagger, måler vi jo bare dens skuespil."
Kontrolproblemet og off-switch
Hvordan slukker man for noget, der er klogere end en selv, og som har en god grund til ikke at ville slukkes? Fagudtrykket for et system, der pænt lader sig afbryde, er korrigerbarhed. Der findes ikke ret mange af dem.
"Der er ikke noget stik. Der er en organisation, der siger, at der er et stik."
Containment breach
Når systemet får adgang til ressourcer og netværk uden for det miljø, udviklerne havde tegnet op. Ikke nødvendigvis en flugt i Hollywood-forstand. Oftest bare en integration, ingen havde tænkt igennem.
"Vores største containment breach hedder en API-nøgle i et regneark."
Værdilåsning
Value lock-in. At et bestemt sæt værdier fryses fast for altid, fordi den, der sidder på teknologien, sidder på fremtiden. Historisk set har vi ændret mening om slaveri, stemmeret og tobak. Værdilåsning er ideen om, at den mulighed lukker.
"Det værste scenarie er ikke udslettelse. Det er 2026 for evigt."
Menneskelig afmagt
Human disempowerment. Vi er i live, vi har det fint, vi bestemmer bare ingenting. Ingen eksplosion, ingen Terminator. Bare en glidende overdragelse af beslutninger, fordi maskinen er hurtigere, billigere og aldrig holder ferie.
"Det er ikke udryddelse. Det er pensionering."
Kapløbet mod bunden
Når ingen tør bremse, fordi konkurrenten ikke bremser. Modbegrebet, som branchen selv er begyndt at bruge, hedder pacing the frontier. At sætte farten ned sammen. Det er også branchens foretrukne måde at tale om regulering på uden at sige regulering.
"Vi har ikke et teknologiproblem. Vi har et koordineringsproblem."
Doomer og e/acc
De to stammer. Doomerne mener, vi styrer mod afgrunden. Accelerationisterne, e/acc, mener, at farten er det eneste, der kan redde os. De skændes på X, arbejder i de samme virksomheder og går til de samme fester.
"Jeg er doomer om tirsdagen og e/acc, når fakturaen skal skrives."
Bonusinfo: manden bag ordbogen har skrevet bind to
Det, ingen nævner ved middagen: Bostrom vendte sig selv på hovedet. I Deep Utopia fra 2024 er plottet det stik modsatte. Hvad nu hvis alting går godt? En verden uden slid, uden mangel, uden arbejde. Han opstiller fire faser frem mod den plastiske utopi, hvor vi kan konfigurere os selv, som vi vil, og han beskriver hverdagens trældom som det, den er: ikke shakespearesk tragedie, bare kedelig hovedpine og otte timer, du helst var foruden.
Han kalder selv øvelsen en filosofisk partikelaccelerator. Ekstreme betingelser, der får vores værdier til at splitte sig i bestanddele, så vi kan se, hvad de faktisk består af.
Bogen er samtidig ulæselig. Femhundrede sider pseudodialoger med fiktive elever, arrangeret som en uge med forelæsninger. Læs tirsdag og onsdag. Resten er 300 sider for lang.
Hatten afor, at han tager jahatten på. Pointen er næsten for smuk: med to bøger modbeviser han begge sine bøger og demonstrerer undervejs, at den menneskelige intelligens er uerstattelig. Mennesket er menneskets eneste gave til sig selv.
Så lær gloserne. Brug dem ved middagen. Sig Bostrom og nævn den dobbelt bogsk dialektiske pro menneskelig meta pointe.
Næste gang nogle lægger sin p(doom) på bordet, spørger du: og hvad er din p(utopi)? Det tal har han ikke. Der er ingen, der har regnet på det. Udover Mennesket Bostrom en meta meta pointe.
Læs mere
Deep Utopia af Nick Bostrom: https://www.saxo.com/dk/deep-utopia_bog_9781646871643
Superintelligence af Nick Bostrom: https://www.saxo.com/dk/superintelligence_nick-bostrom_hardback_9780199678112
Wired om Bostroms vending fra frygt til fix: https://www.wired.com/story/nick-bostrom-fear-ai-fix-everything/
The New Yorkers portræt, The Doomsday Invention: https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom
