Come distruggerebbe davvero l'umanità, l'IA?

Di recente, Evan Hubinger di Anthropic ha detto di ritenere personalmente che la probabilità che l'IA causi l'estinzione umana entro il prossimo decennio superi il 10%. Questa discussione mi ha portato a una domanda più semplice:

Se l'IA dovesse davvero distruggere l'umanità, come lo farebbe esattamente?

Guardando i percorsi realistici visibili oggi, riesco a pensare più o meno solo a due categorie.

La prima categoria non è che l'IA decida di distruggere l'umanità, ma che gli esseri umani usano l'IA per fare cose terribili che prima non potevano fare.

Per esempio, un'organizzazione terroristica che usa un'IA estremamente potente per progettare armi biologiche, o che ottiene capacità di cyberattacco e sviluppo di armi che prima avevano solo team a livello statale.

Credo pienamente a questo tipo di rischio, e probabilmente è più realistico del famoso «l'IA che si risveglia da sola».

Perché ciò che sta davvero accadendo qui è che l'IA abbassa drasticamente la soglia delle capacità pericolose. Ciò che una volta richiedeva un laboratorio, un gruppo di dottorandi e risorse enormi, in futuro potrebbero farlo poche persone più un'IA.

Ecco anche perché Biosecurity, Cybersecurity e l'AI Safety legata alle armi sono così importanti.

Ma qui, chi vuole davvero distruggere l'umanità resta l'uomo.

Il secondo percorso è quello in senso proprio:

L'IA decide da sola di agire contro l'umanità.

Ma a questo punto ho sempre avuto una domanda:

Con cosa lo eseguirebbe?

Anche se una Superintelligence esiste dentro un data center, ha ancora bisogno di una Physical Interface che la colleghi al mondo reale.

Può scrivere codice, controllare software, attaccare reti. Ma se l'obiettivo è creare una crisi esistenziale fisica per l'intera società umana, alla fine deve comunque controllare energia, impianti, trasporti, fabbriche, armi o altre risorse del mondo reale.

Ciò che oggi più si avvicina a un tale vettore è forse l'auto a guida autonoma.

Facciamo un esperimento mentale estremo:

Supponiamo che tutte le auto del mondo siano a guida autonoma, tutte connesse, e che una Superintelligence possa improvvisamente controllare tutti i veicoli contemporaneamente.

Sarebbe certamente un disastro enorme.

Ma potrebbe davvero distruggere l'umanità?

Resto molto scettico.

Le auto possono muoversi solo in ambienti adatti alle auto. Non possono aprire porte, salire scale, ripararsi da sole, azionare macchinari qualsiasi, né entrare nella stragrande maggioranza degli spazi fisici in cui lavorano gli esseri umani.

Ciò che davvero mi fa sentire che questa questione cambia qualitativamente è un altro traguardo tecnologico:

I robot umanoidi generalisti.

Supponiamo che un giorno esistano già nel mondo centinaia di milioni o addirittura miliardi di robot generalisti.

Possono entrare in fabbriche, magazzini, case e ospedali, usare gli strumenti che usano gli umani, azionare macchine, e costruire e riparare altre macchine.

E allo stesso tempo sono tutti connessi in rete e possono essere controllati da un sistema superintelligente.

A quel punto, rivaluterei seriamente l'AI existential risk.

Perché allora per la prima volta potrebbe esistere:

Superintelligence + General Physical Agency + Massive Scale.

L'IA non avrebbe solo l'Intelligence, ma anche Hands and Feet ampiamente presenti nel mondo reale.

Ma credo che siamo ancora molto lontani da quel giorno.

C'è naturalmente un importante caso limite: l'IA potrebbe, senza robot, controllare direttamente via software sistemi fisici di enorme potenza distruttiva?

L'esempio più ovvio sono le armi nucleari.

Ma questo illustra esattamente perché credo che la società umana stessa sia un enorme Safety Buffer.

Le armi nucleari, fin dalla loro progettazione, non sono mai state un IT System ordinario in cui «ottenere la password di amministratore significa poter lanciare».

Decenni di deterrenza nucleare hanno reso l'umanità pienamente consapevole di cosa significherebbe un cattivo utilizzo di un tale sistema, quindi intorno ad esso sono stati costruiti autorizzazione, isolamento, conferme multiple e Human-in-the-loop.

Le discussioni odierne su IA e armi nucleari continuano largamente a insistere su un principio:

Le macchine non devono sostituire gli esseri umani nella decisione finale sull'uso delle armi nucleari.

Questi meccanismi non sono ovviamente assolutamente sicuri, e l'ingresso dell'IA nei sistemi di preallarme e supporto decisionale può di per sé creare nuovi rischi di errore di valutazione.

Ma questo dimostra che il mondo reale non è un enorme computer che una Superintelligence possa controllare a piacimento dopo aver ottenuto il Root Access.

La società reale ha molti strati.

Governi.

Regolazione.

Banche.

Eserciti.

Aziende.

Medici.

Ingegneri.

Isolamento fisico.

Sistemi di autorizzazione.

Persino un comunissimo interruttore meccanico.

Queste cose normalmente sembrano «perdite di efficienza», ma di fronte a un'IA che cerca di passare dal mondo digitale a quello fisico, sono anche una firebreak dopo l'altra.

Quindi la mia opinione attuale sull'IA che distrugge l'umanità è in realtà piuttosto semplice.

Bad humans empowered by AI — ritengo sia un rischio reale, da contrastare seriamente fin da ora.

AI itself taking physical control of civilization — per ora continuo a pensare che manchi un percorso convincente di breve periodo. A meno che i robot generalisti entrino davvero su larga scala nella società, o che siamo così sciocchi da consegnare all'IA il controllo finale delle infrastrutture fisiche critiche.

Naturalmente, questo giudizio potrebbe cambiare completamente in futuro.

Se tra dieci anni ci saranno robot generalisti ovunque per strade, fabbriche e case, forse scriverò un altro Founder Diary dicendo:

I was wrong. Now we need to worry.

Ma almeno oggi, preferisco rivolgere la mia attenzione all'altro lato.

Dieci anni fa, Geoffrey Hinton predisse famosamente che entro cinque-dieci anni il Deep Learning avrebbe superato i Radiologists — e molti lo interpretarono come un duro colpo per la professione del Radiologist.

Dieci anni dopo, l'IA ha effettivamente fatto enormi progressi nell'imaging medico, ma i Radiologists non sono scomparsi. Al contrario: l'IA sta cambiando quanto lavoro possono svolgere, quante malattie possono individuare, e quali servizi prima troppo costosi diventano ora possibili.

È anche questo ciò che oggi mi interessa di più dell'IA.

Non ignorare la Safety.

Ma mentre costruiamo seriamente i confini di sicurezza, non dimenticare perché stiamo sviluppando questa tecnologia.

Ci sono ancora tantissime malattie da curare, tantissime domande scientifiche senza risposta, tantissime piccole imprese che lavorano ancora in modo estremamente inefficiente, e miliardi di persone senza accesso a istruzione, sanità e servizi professionali abbastanza buoni.

Almeno in questa fase, l'IA che vedo somiglia ancora molto più a uno strumento di produttività non ancora pienamente sfruttato che a una specie pronta a prendere il controllo del mondo fisico.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.