Comment l'IA détruirait-elle vraiment l'humanité ?

Récemment, Evan Hubinger d'Anthropic a déclaré qu'il estimait personnellement à plus de 10 % la probabilité que l'IA provoque l'extinction humaine dans les dix prochaines années. Cette discussion m'a amené à une question plus simple :

Si l'IA devait vraiment détruire l'humanité, comment s'y prendrait-elle concrètement ?

En regardant les chemins réalistes visibles aujourd'hui, je n'arrive à en imaginer que deux grandes catégories.

La première catégorie, ce n'est pas l'IA qui décide de détruire l'humanité — ce sont des humains qui utilisent l'IA pour faire des choses terribles qu'ils ne pouvaient pas faire avant.

Par exemple, une organisation terroriste utilisant une IA extrêmement puissante pour concevoir des armes biologiques, ou obtenant des capacités de cyberattaque et de développement d'armes autrefois réservées à des équipes d'États.

Je crois pleinement à ce type de risque, et il est probablement plus réaliste que la fameuse « IA qui se réveille toute seule ».

Parce que ce qui se passe vraiment ici, c'est que l'IA abaisse considérablement le seuil des capacités dangereuses. Ce qui exigeait autrefois un laboratoire, un groupe de docteurs et d'énormes ressources pourrait demain être fait par quelques personnes plus une IA.

C'est aussi pourquoi la Biosecurity, la Cybersecurity et l'AI Safety liée aux armes sont si importantes.

Mais ici, ceux qui veulent vraiment détruire l'humanité restent des humains.

Le deuxième chemin est celui du sens propre :

L'IA décide elle-même d'agir contre l'humanité.

Mais à ce stade, j'ai toujours une question :

Avec quoi l'exécuterait-elle ?

Même si une Superintelligence existe dans un data center, elle a encore besoin d'une Physical Interface la reliant au monde réel.

Elle peut écrire du code, contrôler des logiciels, attaquer des réseaux. Mais si l'objectif est de créer une crise existentielle physique pour toute la société humaine, elle doit en fin de compte contrôler l'énergie, les équipements, les transports, les usines, les armes ou d'autres ressources du monde réel.

Ce qui se rapproche le plus d'un tel vecteur aujourd'hui, c'est peut-être la voiture autonome.

Faisons une expérience de pensée extrême :

Supposons que toutes les voitures du monde soient autonomes, toutes connectées, et qu'une Superintelligence puisse soudainement contrôler tous les véhicules simultanément.

Ce serait certes un désastre immense.

Mais pourrait-elle vraiment détruire l'humanité ?

Je reste très sceptique.

Les voitures ne peuvent agir que dans des environnements adaptés aux voitures. Elles ne peuvent pas ouvrir les portes, monter les escaliers, se réparer elles-mêmes, faire fonctionner n'importe quelle machine, ni entrer dans la grande majorité des espaces physiques où travaillent les humains.

Ce qui me fait vraiment sentir que cette question change qualitativement de nature, c'est un autre jalon technologique :

Les robots humanoïdes généralistes.

Supposons qu'un jour, il existe déjà des centaines de millions, voire des milliards de robots généralistes dans le monde.

Ils peuvent entrer dans les usines, les entrepôts, les maisons et les hôpitaux, utiliser les outils des humains, faire fonctionner des machines, et fabriquer et réparer d'autres machines.

Et en même temps, ils sont tous connectés et peuvent être contrôlés par un système superintelligent.

À ce moment-là, je réévaluerais sérieusement l'AI existential risk.

Parce que pour la première fois pourrait apparaître :

Superintelligence + General Physical Agency + Massive Scale.

L'IA posséderait non seulement l'Intelligence, mais aussi des Hands and Feet largement présents dans le monde réel.

Mais je pense que nous sommes encore très loin de ce jour.

Il y a bien sûr un cas limite important ici : l'IA pourrait-elle, sans robots, contrôler directement par le logiciel des systèmes physiques d'une énorme puissance destructrice ?

L'exemple le plus évident, ce sont les armes nucléaires.

Mais c'est exactement pourquoi je pense que la société humaine elle-même est un énorme Safety Buffer.

L'arme nucléaire, depuis sa conception, n'a jamais été un IT System ordinaire où « obtenir le mot de passe admin permet de lancer ».

Des décennies de dissuasion nucléaire ont rendu l'humanité parfaitement consciente de ce que signifierait une mauvaise manipulation d'un tel système ; on a donc bâti autour de lui autorisation, isolation, confirmations multiples et Human-in-the-loop.

Les discussions actuelles sur l'IA et les armes nucléaires continuent largement d'insister sur un principe :

Les machines ne doivent pas remplacer les humains dans la décision finale d'utiliser l'arme nucléaire.

Ces mécanismes ne sont bien sûr pas absolument sûrs, et l'entrée de l'IA dans les systèmes d'alerte précoce et d'aide à la décision peut elle-même créer de nouveaux risques d'erreur d'appréciation.

Mais cela montre que le monde réel n'est pas un ordinateur géant qu'une Superintelligence pourrait contrôler à volonté après avoir obtenu un Root Access.

La société réelle a de nombreuses couches.

Les gouvernements.

La régulation.

Les banques.

Les armées.

Les entreprises.

Les médecins.

Les ingénieurs.

L'isolation physique.

Les systèmes d'autorisation.

Et même un simple interrupteur mécanique.

Ces choses semblent en temps normal être des « pertes d'efficacité », mais face à une IA qui tenterait de passer du monde numérique au monde physique, ce sont aussi autant de firebreaks.

Donc mon opinion actuelle sur l'IA détruisant l'humanité est en fait assez simple.

Bad humans empowered by AI — je pense que c'est un risque réel, qu'il faut contrer sérieusement dès maintenant.

AI itself taking physical control of civilization — je pense toujours qu'il manque ici un chemin convaincant à court terme. Sauf si les robots généralistes entrent vraiment massivement dans la société, ou si nous sommes assez stupides pour confier à l'IA le contrôle final des infrastructures physiques critiques.

Bien sûr, ce jugement pourrait tout à fait changer à l'avenir.

Si dans dix ans, les robots généralistes sont partout dans les rues, les usines et les maisons, j'écrirai peut-être un autre Founder Diary pour dire :

I was wrong. Now we need to worry.

Mais au moins aujourd'hui, je préfère tourner mon attention vers l'autre versant.

Il y a dix ans, Geoffrey Hinton avait prédit de façon célèbre que dans cinq à dix ans, le Deep Learning ferait mieux que les Radiologists — et beaucoup avaient compris que le métier de Radiologist serait durement frappé.

Dix ans plus tard, l'IA a effectivement fait d'énormes progrès en imagerie médicale, mais les Radiologists n'ont pas disparu. Au contraire, l'IA change la quantité de travail qu'ils peuvent accomplir, le nombre de maladies qu'ils peuvent détecter, et quels services autrefois trop coûteux deviennent désormais possibles.

C'est aussi ce qui m'intéresse le plus dans l'IA aujourd'hui.

Ne pas ignorer la Safety.

Mais tout en construisant sérieusement les garde-fous, ne pas oublier pourquoi nous développons cette technologie.

Il reste d'innombrables maladies à soigner, d'innombrables questions scientifiques sans réponse, d'innombrables petites entreprises qui travaillent encore de façon extrêmement inefficace, et des milliards de personnes sans accès à une éducation, une santé et des services professionnels suffisamment bons.

Du moins à ce stade, l'IA que je vois ressemble encore bien plus à un outil de productivité pas encore pleinement utilisé qu'à une espèce prête à prendre le contrôle du monde physique.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.