La sicurezza dell'IA senza l'apocalisse

Il mondo dell'IA ha ricominciato a discutere seriamente di «estinzione umana».

Evan Hubinger, Alignment Science Lead di Anthropic, ha espresso un giudizio personale molto sorprendente: entro i prossimi dieci anni, la probabilità che l'IA causi l'estinzione umana supera il 10%. Jensen Huang sta dalla parte completamente opposta, ritenendo questo AI doomerism esagerato, e temendo che insistere sugli scenari apocalittici finisca per spaventare il pubblico riguardo all'IA.

In questo dibattito, sono più vicino alla posizione di Jensen.

Non perché l'AI Safety non sia importante, ma perché ho sempre pensato che tra «l'IA diventa molto intelligente» e «l'IA può esercitare un dominio incontrollabile sulla società fisica» ci sia ancora una catena molto lunga.

Nel mondo puramente digitale, sono effettivamente più preoccupato per la sicurezza dell'IA.

Un Agent può scrivere enormi quantità di codice in pochi secondi, scansionare reti, chiamare API, copiare informazioni, e persino trovare percorsi che i suoi sviluppatori non avevano previsto. Alcuni casi di Agent Safety pubblicati di recente da OpenAI e Anthropic mostrano già che questo tipo di rischio è reale.

Ma una volta usciti dal mondo del puro software, la situazione è completamente diversa.

Il mondo reale è pieno di attriti.

L'IA può progettare una fabbrica, ma non può costruirla con un'API. Servono terreni, macchinari, fornitori, capitali, permessi e squadre di costruzione.

L'IA può proporre un nuovo farmaco, ma non può farlo entrare direttamente negli ospedali. In mezzo ci sono esperimenti, trial clinici, approvazioni regolatorie, produzione e decisioni dei medici.

L'IA può suggerire di spostare miliardi di dollari, ma nella realtà banche, consigli di amministrazione, uffici compliance e sistemi di autorizzazione non eseguiranno automaticamente solo perché un modello ha dato un'istruzione.

Energia, reti elettriche, trasporti, aviazione, sanità, finanza, difesa e tantissimi sistemi industriali hanno isolamenti fisici, sistemi di permessi, regimi regolatori e esseri umani nel ciclo decisionale.

Queste cose a volte rallentano l'innovazione, e possono persino irritare parecchio gli imprenditori.

Ma viste da un'altra angolazione, sono anche un enorme Safety Buffer della società moderna.

L'intelligenza digitale può crescere molto in fretta, ma trasformare quell'Intelligence in controllo sul Physical World richiede di attraversare molti strati di interfacce del mondo reale.

Ogni strato ha attriti, e ogni strato ha altre persone.

Per questo sono sempre stato scettico verso il percorso in cui «una Superintelligence che appare all'improvviso conquista rapidamente il mondo reale e crea una crisi esistenziale per l'umanità».

Questo non significa che sia teoricamente impossibile. Significa che se qualcuno offre un numero come «oltre il 10% entro dieci anni», ciò che voglio vedere non è solo una conclusione spaventosa, ma un percorso più concreto:

Come attraversa l'IA questi strati di cuscinetti del mondo reale?

Quali sistemi fallirebbero per primi?

Quali decisioni umane verrebbero aggirate?

Quali capacità fisiche potrebbe acquisire l'IA così rapidamente?

E perché la regolamentazione, i permessi e l'organizzazione sociale esistenti non avrebbero il tempo di reagire?

Queste domande meritano di essere studiate, ma oggi è molto difficile comprimere le risposte in una probabilità dall'aspetto così preciso.

Nel frattempo, abbiamo già molti problemi di AI Safety che si verificano davvero e che dobbiamo risolvere.

Gli Agent eccedono la propria autorità, fanno trapelare dati, chiamano gli strumenti sbagliati, subiscono Prompt Injection, e possono prendere in compiti complessi Shortcut che gli sviluppatori non avevano previsto.

Questi rischi sono reali, osservabili, e possono essere migliorati continuamente attraverso Permissions, Sandbox, Monitoring, Human Approval e un migliore Model Alignment.

Questa è anche la Safety su cui preferisco concentrarmi.

Perché almeno dal punto di vista di chi costruisce prodotti IA oggi, il problema più grande che vedo non è ancora che l'IA è diventata troppo potente per essere controllata.

Molto spesso è l'esatto contrario:

L'IA non è ancora abbastanza brava.

Fa ancora molti errori molto basilari, i compiti complessi richiedono ancora supervisione, e moltissimi Business Workflow hanno ancora bisogno di logica deterministica per funzionare in modo affidabile.

Dobbiamo certamente continuare a studiare quei rischi a bassa probabilità ma con conseguenze estreme.

Ma allo stesso tempo, spero che l'industria dell'IA continui a mettere molta energia in un problema molto concreto:

How do we make AI actually work better?

Che aiuti le aziende a essere più efficienti, gli scienziati a fare ricerca, i medici ad avere informazioni migliori, e le persone comuni a realizzare cose che prima non potevano fare.

La sicurezza dovrebbe avanzare insieme a queste capacità, non essere costruita sulla paura del pubblico.

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.