Como a IA destruiria a humanidade, de fato?

Recentemente, Evan Hubinger da Anthropic disse que, pessoalmente, acredita que a probabilidade de a IA causar a extinção humana na próxima década supera 10%. Essa discussão me levou a uma pergunta mais simples:

Se a IA realmente fosse destruir a humanidade, como exatamente faria isso?

Olhando os caminhos realistas visíveis hoje, só consigo pensar em duas grandes categorias.

A primeira categoria não é a IA decidindo destruir a humanidade — são humanos usando a IA para fazer coisas terríveis que antes não conseguiam.

Por exemplo, uma organização terrorista usando uma IA extremamente poderosa para projetar armas biológicas, ou obtendo capacidades de ciberataque e desenvolvimento de armas que antes só equipes em nível de Estado-nação possuíam.

Acredito plenamente nesse tipo de risco, e ele provavelmente é mais realista do que o famoso «a IA despertando sozinha».

Porque o que realmente está acontecendo aqui é que a IA reduz drasticamente a barreira das capacidades perigosas. Coisas que antes exigiam um laboratório, um grupo de PhDs e recursos massivos, no futuro talvez possam ser feitas por algumas pessoas mais uma IA.

É por isso também que Biosecurity, Cybersecurity e a AI Safety relacionada a armas são tão importantes.

Mas aqui, quem realmente quer destruir a humanidade ainda são os humanos.

O segundo caminho é o do sentido estrito:

A IA decidindo por conta própria agir contra a humanidade.

Mas nesse ponto sempre tive uma dúvida:

Com o que ela executaria isso?

Mesmo que uma Superintelligence exista dentro de um data center, ela ainda precisa de uma Physical Interface que a conecte ao mundo real.

Ela pode escrever código, controlar software, atacar redes. Mas se o objetivo é criar uma crise existencial física para toda a sociedade humana, no fim ela ainda precisa controlar energia, equipamentos, transporte, fábricas, armas ou outros recursos do mundo real.

O mais próximo de tal vetor hoje talvez seja o carro autônomo.

Vamos fazer um experimento mental extremo:

Suponha que todos os carros do mundo sejam autônomos, todos conectados, e que uma Superintelligence de repente consiga controlar todos os veículos simultaneamente.

Isso certamente causaria um desastre enorme.

Mas ela realmente poderia destruir a humanidade?

Continuo muito cético.

Carros só conseguem atuar em ambientes adequados para carros. Não conseguem abrir portas, subir escadas, se autorreparar, operar máquinas arbitrárias, nem entrar na grande maioria dos espaços físicos onde os humanos trabalham.

O que realmente me faz sentir que essa questão muda qualitativamente é outro marco tecnológico:

Robôs humanoides de propósito geral.

Suponha que um dia já existam no mundo centenas de milhões ou até bilhões de robôs de propósito geral.

Eles podem entrar em fábricas, armazéns, casas e hospitais, usar as ferramentas que os humanos usam, operar máquinas, e fabricar e reparar outras máquinas.

E ao mesmo tempo, todos estão conectados e podem ser controlados por um sistema superinteligente.

Nesse momento, eu reavaliaria seriamente o AI existential risk.

Porque então, pela primeira vez, poderia existir:

Superintelligence + General Physical Agency + Massive Scale.

A IA teria não apenas Intelligence, mas também Hands and Feet amplamente presentes no mundo real.

Mas acredito que ainda estamos muito longe desse dia.

Há, claro, um caso-limite importante aqui: a IA poderia, sem robôs, controlar diretamente via software sistemas físicos de enorme poder destrutivo?

O exemplo mais óbvio são as armas nucleares.

Mas isso ilustra exatamente por que acredito que a própria sociedade humana é um enorme Safety Buffer.

Armas nucleares, desde a concepção, nunca foram um IT System comum em que «conseguir a senha de administrador permite lançar».

Décadas de dissuasão nuclear deixaram a humanidade muito consciente do que significaria uma má operação de tal sistema, e por isso construíram-se ao redor dele autorização, isolamento, confirmação por várias pessoas e Human-in-the-loop.

As discussões de hoje sobre IA e armas nucleares ainda insistem amplamente num princípio:

Máquinas não devem substituir humanos na decisão final de usar armas nucleares.

Esses mecanismos certamente não são absolutamente seguros, e a entrada da IA em sistemas de alerta precoce e apoio à decisão pode, por si só, criar novos riscos de erro de cálculo.

Mas isso mostra que o mundo real não é um computador gigante que uma Superintelligence possa controlar à vontade depois de obter Root Access.

A sociedade real tem muitas camadas.

Governos.

Regulação.

Bancos.

Forças armadas.

Empresas.

Médicos.

Engenheiros.

Isolamento físico.

Sistemas de autorização.

Até um interruptor mecânico bem comum.

Essas coisas normalmente parecem «perdas de eficiência», mas diante de uma IA tentando passar do mundo digital para o mundo físico, elas são também uma firebreak atrás da outra.

Então minha visão atual sobre a IA destruindo a humanidade é, na verdade, bem simples.

Bad humans empowered by AI — acredito que é um risco real, contra o qual devemos nos defender seriamente já agora.

AI itself taking physical control of civilization — no momento ainda acho que falta um caminho convincente de curto prazo. A menos que robôs de propósito geral realmente entrem em massa na sociedade, ou que sejamos tolos o bastante para entregar à IA o controle final de infraestruturas físicas críticas.

Claro, esse julgamento pode mudar completamente no futuro.

Se daqui a dez anos houver robôs de propósito geral por toda parte nas ruas, fábricas e casas, talvez eu escreva outro Founder Diary dizendo:

I was wrong. Now we need to worry.

Mas pelo menos hoje, prefiro colocar minha atenção no outro lado.

Dez anos atrás, Geoffrey Hinton previu famosamente que em cinco a dez anos o Deep Learning seria melhor que os Radiologists — e muita gente entendeu que a profissão de Radiologist seria fortemente abalada.

Dez anos depois, a IA de fato fez enorme progresso em imagens médicas, mas os Radiologists não desapareceram. Pelo contrário: a IA está mudando quanto trabalho eles podem realizar, quantas doenças podem detectar, e quais serviços antes caros demais agora se tornam possíveis.

É também aí que está meu maior interesse na IA hoje.

Não ignorar a Safety.

Mas, enquanto construímos seriamente as fronteiras de segurança, não esquecer por que estamos desenvolvendo essa tecnologia.

Ainda há um número enorme de doenças a tratar, enorme número de perguntas científicas sem resposta, enorme número de pequenas empresas ainda trabalhando de forma extremamente ineficiente, e bilhões de pessoas sem acesso a educação, saúde e serviços profissionais bons o suficiente.

Pelo menos neste estágio, a IA que eu vejo ainda se parece muito mais com uma ferramenta de produtividade ainda subutilizada do que com uma espécie pronta para assumir o mundo físico.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.