Kako bi AI zapravo uništio čovečanstvo?

Nedavno je Evan Hubinger iz Anthropic rekao da lično veruje da je verovatnoća da AI izazove izumiranje čovečanstva u narednih deset godina veća od 10%. Ta rasprava me je navela na jednostavnije pitanje:

Ako bi AI zaista uništio čovečanstvo, kako bi to tačno uradio?

Gledajući realistične puteve vidljive danas, otprilike mogu da zamislim samo dve kategorije.

Prva kategorija uopšte nije da AI odluči da uništi čovečanstvo — već da ljudi koriste AI da urade užasne stvari koje ranije nisu mogli.

Na primer, teroristička organizacija koja koristi izuzetno moćan AI da dizajnira biološko oružje, ili koja dobija sposobnosti sajber napada i razvoja oružja koje su ranije imali samo timovi na državnom nivou.

U ovakav rizik potpuno verujem, i verovatno je realniji od takozvanog „AI koji se sam probudi".

Jer ono što se ovde zaista dešava jeste da AI drastično spušta prag opasnih sposobnosti. Ono što je nekada zahtevalo laboratoriju, grupu doktoranada i ogromne resurse, u budućnosti bi možda moglo da uradi nekoliko ljudi plus AI.

Zato su Biosecurity, Cybersecurity i AI Safety vezana za oružje toliko važni.

Ali ovde, oni koji zaista žele da unište čovečanstvo i dalje su ljudi.

Drugi put je onaj u pravom smislu:

AI sam odlučuje da deluje protiv čovečanstva.

Ali tu oduvek imam jedno pitanje:

Čime bi to izveo?

Čak i ako Superintelligence postoji u data centru, i dalje joj je potreban Physical Interface koji je povezuje sa stvarnim svetom.

Može da piše kod, kontroliše softver, napada mreže. Ali ako je cilj da se celom ljudskom društvu nanese fizička egzistencijalna kriza, na kraju joj je ipak potrebna kontrola nad energijom, opremom, saobraćajem, fabrikama, oružjem ili drugim resursima stvarnog sveta.

Ono što je danas najbliže takvom nosaču jeste možda autonomni automobil.

Napravimo ekstremni misaoni eksperiment:

Pretpostavimo da su svi automobili na svetu autonomni, svi umreženi, i da Superintelligence iznenada može istovremeno da kontroliše sva vozila.

To bi svakako bila ogromna katastrofa.

Ali da li bi zaista mogla da uništi čovečanstvo?

I dalje sam veoma skeptičan.

Automobili mogu da deluju samo u okruženjima pogodnim za automobile. Ne mogu da otvaraju vrata, penju se stepenicama, popravljaju se, rukuju proizvoljnim mašinama, niti da uđu u ogromnu većinu fizičkih prostora u kojima ljudi rade.

Ono što zaista menja prirodu ovog pitanja jeste druga tehnološka tačka preokreta:

Humanoidni roboti opšte namene.

Pretpostavimo da jednog dana na svetu već postoji stotine miliona ili čak milijardi robota opšte namene.

Mogu da uđu u fabrike, magacine, domove i bolnice, da koriste alate koje ljudi koriste, da rukuju mašinama, i da proizvode i popravljaju druge mašine.

Istovremeno, svi su umreženi i može njima da upravlja superinteligentni sistem.

Tada bih ozbiljno preispitao AI existential risk.

Jer tada bi prvi put moglo da postoji:

Superintelligence + General Physical Agency + Massive Scale.

AI bi posedovao ne samo Intelligence, već i Hands and Feet široko prisutne u stvarnom svetu.

Ali do tog dana, verujem, još smo veoma daleko.

Ovde naravno postoji važan granični slučaj: može li AI, bez robota, direktno preko softvera da kontroliše fizičke sisteme ogromne razorne moći?

Najočigledniji primer je nuklearno oružje.

Ali to upravo ilustruje zašto verujem da je samо ljudsko društvo ogroman Safety Buffer.

Nuklearno oružje, od samog početka dizajniranja, nikada nije bilo običan IT System u kom „dobiti administratorsku lozinku znači moći lansirati".

Decenije nuklearnog odvraćanja vrlo su razjasnile čovečanstvu šta bi značila pogrešna upotreba takvog sistema, pa su oko njega izgrađene autorizacija, izolacija, potvrde više ljudi i Human-in-the-loop.

Današnje rasprave o AI i nuklearnom oružju i dalje se u velikoj meri drže jednog principa:

Mašine ne smeju da zamene ljude u donošenju konačne odluke o upotrebi nuklearnog oružja.

Ovi mehanizmi naravno nisu apsolutno bezbedni, a ulazak AI-ja u sisteme ranog upozoravanja i podrške odlučivanju sam može doneti nove rizike pogrešne procene.

Ali to pokazuje da stvarni svet nije jedan ogroman računar kojim bi Superintelligence nakon dobijanja Root Access-a mogla da upravlja po želji.

Stvarno društvo ima mnogo slojeva.

Vlade.

Regulativa.

Banke.

Vojska.

Preduzeća.

Lekari.

Inženjeri.

Fizička izolacija.

Sistemi autorizacije.

Čak i sasvim običan mehanički prekidač.

Ove stvari inače izgledaju kao „gubici efikasnosti", ali pred AI-jem koji pokušava da iz digitalnog sveta pređe u fizički, one su istovremeno jedna firebreak za drugom.

Zato je moj sadašnji pogled na to da AI uništava čovečanstvo zapravo prilično jednostavan.

Bad humans empowered by AI — smatram da je to stvarni rizik, protiv kojeg treba ozbiljno da se branimo odmah.

AI itself taking physical control of civilization — za ovo trenutno i dalje mislim da nedostaje uverljiv kratkoročni put. Osim ako roboti opšte namene u budućnosti zaista masovno uđu u društvo, ili ako budemo dovoljno glupi da AI-ju predamo konačnu kontrolu nad kritičnom fizičkom infrastrukturom.

Naravno, ova procena se u budućnosti može potpuno promeniti.

Ako za deset godina ulicama, fabrikama i domovima već svuda budu roboti opšte namene, možda ću napisati još jedan Founder Diary i reći:

I was wrong. Now we need to worry.

Ali bar danas, radije bih pažnju usmerio na drugu stranu.

Pre deset godina Geoffrey Hinton je čuveno predvideo da će za pet do deset godina Deep Learning biti bolji od Radiologists — a mnogi su to dalje shvatili kao da će profesija Radiologist biti jako pogođena.

Deset godina kasnije, AI je zaista napravio ogroman napredak u medicinskom snimanju, ali Radiologists nisu nestali. Naprotiv: AI menja koliko posla mogu da urade, koliko bolesti mogu da otkriju, i koje usluge koje su ranije bile preskupe sada postaju moguće.

To je takođe ono što me danas kod AI više zanima.

Ne ignorisanje Safety.

Već da dok ozbiljno gradimo bezbednosne granice, ne zaboravimo zašto uopšte razvijamo ovu tehnologiju.

I dalje ima ogroman broj bolesti koje treba lečiti, ogroman broj naučnih pitanja bez odgovora, ogroman broj malih preduzeća koja i dalje rade na izuzetno neefikasan način, i milijarde ljudi bez pristupa dovoljno dobrom obrazovanju, zdravstvu i profesionalnim uslugama.

Bar u ovoj fazi, AI koji ja vidim i dalje mnogo više liči na alat produktivnosti koji još nije dovoljno iskorišćen nego na vrstu spremnu da preuzme fizički svet.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.