Hoe zou AI de mensheid eigenlijk vernietigen?

Onlangs zei Evan Hubinger van Anthropic dat hij persoonlijk gelooft dat de kans dat AI binnen tien jaar het uitsterven van de mens veroorzaakt groter is dan 10%. Die discussie bracht me bij een simpelere vraag:

Als AI de mensheid echt zou vernietigen, hoe zou het dat precies doen?

Kijkend naar de realistische paden die vandaag zichtbaar zijn, kan ik grofweg maar twee categorieën bedenken.

De eerste categorie is niet dat AI besluit de mensheid te vernietigen, maar dat mensen AI gebruiken om vreselijke dingen te doen die ze eerder niet konden.

Bijvoorbeeld een terroristische organisatie die een extreem krachtige AI gebruikt om biologische wapens te ontwerpen, of die cyberaanvals- en wapenontwikkelingscapaciteiten verkrijgt die vroeger alleen teams op nationaal-statelijk niveau hadden.

Dit soort risico geloof ik volledig, en het is waarschijnlijk realistischer dan het zogeheten 'AI die vanzelf wakker wordt'.

Want wat hier echt gebeurt, is dat AI de drempel voor gevaarlijke capaciteiten drastisch verlaagt. Dingen waarvoor vroeger een laboratorium, een groep promovendi en enorme middelen nodig waren, kunnen in de toekomst misschien door een paar mensen plus AI worden gedaan.

Daarom zijn Biosecurity, Cybersecurity en wapengerelateerde AI Safety ook zo belangrijk.

Maar hier zijn degenen die de mensheid echt willen vernietigen nog steeds mensen.

Het tweede pad is dat in de ware zin:

AI besluit zelf tegen de mensheid te handelen.

Maar dan heb ik altijd één vraag:

Waarmee zou het dat uitvoeren?

Zelfs als een Superintelligence in een datacenter bestaat, heeft het nog steeds een Physical Interface nodig die het met de echte wereld verbindt.

Het kan code schrijven, software besturen, netwerken aanvallen. Maar als het doel is om een fysieke existentiële crisis voor de hele menselijke samenleving te veroorzaken, moet het uiteindelijk toch energie, apparatuur, transport, fabrieken, wapens of andere reële hulpbronnen beheersen.

Wat vandaag het dichtst bij zo'n drager komt, is misschien de zelfrijdende auto.

Laten we een extrem gedachte-experiment doen:

Stel dat alle auto's ter wereld zelfrijdend zijn, allemaal verbonden, en dat een Superintelligence plotseling tegelijkertijd alle voertuigen kan besturen.

Dat zou zeker een enorme ramp veroorzaken.

Maar zou het echt de mensheid kunnen vernietigen?

Ik blijf zeer sceptisch.

Auto's kunnen alleen opereren in omgevingen die geschikt zijn voor auto's. Ze kunnen geen deuren openen, geen trappen beklimmen, zichzelf niet repareren, geen willekeurige machines bedienen, en niet de overgrote meerderheid van de fysieke ruimtes betreden waar mensen werken.

Wat deze vraag voor mij echt kwalitatief doet veranderen, is een andere technologische mijlpaal:

Algemeen inzetbare humanoïde robots.

Stel dat er op een dag wereldwijd al honderden miljoenen of zelfs miljarden algemeen inzetbare robots bestaan.

Ze kunnen fabrieken, magazijnen, huizen en ziekenhuizen binnenlopen, de gereedschappen gebruiken die mensen gebruiken, machines bedienen, en andere machines bouwen en repareren.

En tegelijkertijd zijn ze allemaal verbonden en kunnen ze worden bestuurd door een superintelligent systeem.

Op dat moment zou ik het AI existential risk serieus heroverwegen.

Want dan zou voor het eerst kunnen bestaan:

Superintelligence + General Physical Agency + Massive Scale.

AI zou niet alleen Intelligence bezitten, maar ook Hands and Feet die wijdverspreid in de echte wereld aanwezig zijn.

Maar van die dag zijn we, denk ik, nog heel ver verwijderd.

Er is hier natuurlijk nog een belangrijk randgeval: zou AI, zonder robots, via software direct fysieke systemen met enorme vernietigingskracht kunnen beheersen?

Het meest voor de hand liggende voorbeeld zijn kernwapens.

Maar dit illustreert precies waarom ik geloof dat de menselijke samenleving zelf een enorme Safety Buffer is.

Kernwapens waren vanaf het ontwerp nooit een gewoon IT System waar 'het admin-wachtwoord pakken betekent dat je kunt lanceren'.

Decennia van nucleaire afschrikking maakten de mensheid zich zeer bewust van wat een misbediening van zo'n systeem zou betekenen, dus werden autorisatie, isolatie, meerpersoonsbevestiging en Human-in-the-loop eromheen gebouwd.

De huidige discussies over AI en kernwapens houden nog steeds grotendeels vast aan één principe:

Machines mogen mensen niet vervangen bij het nemen van de uiteindelijke beslissing over het gebruik van kernwapens.

Deze mechanismen zijn natuurlijk niet absoluut veilig, en de komst van AI in vroegtijdige-waarschuwings- en besluitondersteuningssystemen kan zelf nieuwe risico's van misrekening met zich meebrengen.

Maar dit laat zien dat de echte wereld geen gigantische computer is die een Superintelligence naar believen kan besturen zodra het Root Access heeft verkregen.

De echte samenleving heeft veel lagen.

Overheden.

Regulering.

Banken.

Het leger.

Bedrijven.

Artsen.

Ingenieurs.

Fysieke isolatie.

Autorisatiesystemen.

Zelfs een heel gewone mechanische schakelaar.

Deze dingen zien er normaal gesproken uit als 'efficiëntieverliezen', maar tegenover een AI die probeert van de digitale naar de fysieke wereld over te stappen, zijn ze tegelijkertijd de ene firebreak na de andere.

Mijn huidige kijk op AI die de mensheid vernietigt is dus eigenlijk vrij simpel.

Bad humans empowered by AI — dat beschouw ik als een reëel risico, dat we nu serieus moeten afweren.

AI itself taking physical control of civilization — hiervoor ontbreekt volgens mij op dit moment nog een overtuigend kortetermijnpad. Tenzij algemeen inzetbare robots in de toekomst echt op grote schaal de samenleving binnenkomen, of we dom genoeg zijn om de uiteindelijke controle over kritieke fysieke infrastructuur aan AI over te dragen.

Natuurlijk kan dit oordeel in de toekomst volledig veranderen.

Als er over tien jaar overal op straat, in fabrieken en in huizen algemeen inzetbare robots rondlopen, schrijf ik misschien weer een Founder Diary waarin staat:

I was wrong. Now we need to worry.

Maar in ieder geval vandaag richt ik mijn aandacht liever op de andere kant.

Tien jaar geleden voorspelde Geoffrey Hinton beroemd dat Deep Learning binnen vijf tot tien jaar beter zou presteren dan Radiologists — en veel mensen begrepen dat als: het beroep van Radiologist zou zwaar getroffen worden.

Tien jaar later heeft AI in medische beeldvorming inderdaad enorme vooruitgang geboekt, maar Radiologists zijn niet verdwenen. Integendeel: AI verandert hoeveel werk ze kunnen doen, hoeveel ziekten ze kunnen ontdekken, en welke diensten die vroeger te duur waren nu mogelijk worden.

Dat is ook waar mijn grotere interesse in AI vandaag ligt.

Niet Safety negeren.

Maar terwijl we serieus veiligheidsgrenzen bouwen, niet vergeten waarom we deze technologie ontwikkelen.

Er zijn nog ontelbaar veel ziekten te behandelen, ontelbaar veel wetenschappelijke vragen zonder antwoord, ontelbaar veel kleine bedrijven die nog extreem inefficiënt werken, en miljarden mensen zonder toegang tot goed genoeg onderwijs, gezondheidszorg en professionele diensten.

Althans in dit stadium lijkt de AI die ik zie nog veel meer op een productiviteitstool die nog niet volledig wordt benut dan op een soort die zich voorbereidt om de fysieke wereld over te nemen.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.