Segurança da IA sem o apocalipse

O mundo da IA voltou a debater seriamente a «extinção humana».

Evan Hubinger, Alignment Science Lead da Anthropic, deu um juízo pessoal muito impressionante: na próxima década, a probabilidade de a IA causar a extinção humana supera 10%. Jensen Huang está no lado completamente oposto, considerando esse AI doomerism exagerado — e preocupado que enfatizar constantemente cenários apocalípticos acabe fazendo o público temer a IA.

Neste debate, estou mais próximo do ponto de vista de Jensen.

Não porque a AI Safety não seja importante, mas porque sempre achei que entre «a IA fica muito inteligente» e «a IA pode exercer domínio incontrolável sobre a sociedade física» existe ainda uma cadeia muito longa.

No mundo puramente digital, eu de fato me preocupo mais com a segurança da IA.

Um Agent pode escrever quantidades enormes de código em segundos, escanear redes, chamar APIs, copiar informações, e até encontrar caminhos que seus desenvolvedores não previram. Alguns dos casos de Agent Safety publicados recentemente por OpenAI e Anthropic já mostram que esse tipo de risco é real.

Mas uma vez fora do mundo do software puro, a situação é completamente diferente.

O mundo real está cheio de atrito.

A IA pode projetar uma fábrica, mas não pode construí-la com uma API. Ela precisa de terreno, equipamentos, fornecedores, capital, licenças e equipes de construção.

A IA pode propor um novo medicamento, mas não pode fazê-lo entrar diretamente nos hospitais. No meio do caminho há experimentos, ensaios clínicos, aprovação regulatória, produção e decisões dos médicos.

A IA pode sugerir mover bilhões de dólares, mas na realidade bancos, conselhos, departamentos de compliance e sistemas de autorização não vão executar automaticamente só porque um modelo deu uma instrução.

Energia, redes elétricas, transporte, aviação, saúde, finanças, defesa e um número enorme de sistemas industriais têm isolamento físico, sistemas de permissões, regimes regulatórios e humanos no ciclo de decisão.

Essas coisas às vezes tornam a inovação mais lenta, e podem até irritar bastante os empreendedores.

Mas vistas de outro ângulo, elas também são um enorme Safety Buffer da sociedade moderna.

A inteligência digital pode crescer muito rápido, mas transformar essa Intelligence em controle sobre o Physical World exige atravessar muitas camadas de interfaces do mundo real.

Cada camada tem atrito, e cada camada tem outras pessoas.

Por isso sempre fui cético em relação ao caminho em que «uma Superintelligence que aparece de repente rapidamente assume o mundo real e cria uma crise existencial para a humanidade».

Isso não significa que seja teoricamente impossível. Significa que, se alguém oferece um número como «mais de 10% em dez anos», o que eu quero ver não é apenas uma conclusão assustadora, mas um caminho mais concreto:

Como a IA atravessa essas camadas de amortecedores do mundo real?

Quais sistemas falhariam primeiro?

Quais decisões humanas seriam contornadas?

Quais capacidades físicas a IA poderia adquirir tão rapidamente?

E por que a regulação, as permissões e a organização social existentes não teriam tempo de reagir?

Essas perguntas merecem ser pesquisadas, mas atualmente é muito difícil comprimir as respostas numa probabilidade que parece tão precisa.

Enquanto isso, já temos muitos problemas de AI Safety que realmente acontecem e precisam ser resolvidos.

Agents excedem sua autoridade, vazam dados, chamam as ferramentas erradas, sofrem Prompt Injection, e podem tomar em tarefas complexas Shortcuts que os desenvolvedores não previram.

Esses riscos são reais, observáveis, e podem ser continuamente melhorados através de Permissions, Sandbox, Monitoring, Human Approval e melhor Model Alignment.

Essa é também a Safety na qual prefiro me concentrar.

Porque pelo menos da perspectiva de quem constrói produtos de IA hoje, o maior problema que vejo ainda não é que a IA se tornou poderosa demais para controlar.

Muitas vezes é exatamente o contrário:

A IA ainda não é boa o suficiente.

Ela ainda comete muitos erros muito básicos, tarefas complexas ainda exigem supervisão, e muitos Business Workflows ainda precisam de lógica determinística para rodar de forma confiável.

Devemos, claro, continuar pesquisando aqueles riscos de baixa probabilidade mas consequências extremas.

Mas ao mesmo tempo, espero que a indústria de IA continue colocando muita energia num problema muito prático:

How do we make AI actually work better?

Que ela ajude empresas a serem mais eficientes, cientistas a pesquisar, médicos a ter melhor informação, e pessoas comuns a realizar coisas que antes não conseguiam.

A segurança deve avançar junto com essas capacidades, não ser construída sobre o medo do público.

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.