La sécurité de l'IA sans l'apocalypse

Le monde de l'IA s'est remis à débattre sérieusement de « l'extinction humaine ».

Evan Hubinger, Alignment Science Lead d'Anthropic, a donné un jugement personnel très frappant : dans les dix prochaines années, la probabilité que l'IA provoque l'extinction humaine dépasse 10 %. Jensen Huang se situe à l'exact opposé, estimant que ce genre d'AI doomerism est exagéré, et craignant que la répétition des scénarios apocalyptiques finisse par faire peur de l'IA au public.

Dans ce débat, je suis plus proche du point de vue de Jensen.

Non pas parce que l'AI Safety n'est pas importante, mais parce que j'ai toujours pensé qu'entre « l'IA devient très intelligente » et « l'IA peut exercer une domination incontrôlable sur la société physique », il y a encore une très longue chaîne.

Dans le monde purement numérique, je suis effectivement plus inquiet des questions de sécurité de l'IA.

Un Agent peut écrire d'énormes quantités de code en quelques secondes, scanner des réseaux, appeler des API, copier des informations, et même trouver des chemins que ses développeurs n'avaient pas anticipés. Certains cas d'Agent Safety récemment publiés par OpenAI et Anthropic montrent déjà que ce type de risque est réel.

Mais une fois qu'on quitte le monde du pur logiciel, la situation est complètement différente.

Le monde réel est plein de frictions.

L'IA peut concevoir une usine, mais ne peut pas la construire avec une API. Il lui faut des terrains, des équipements, des fournisseurs, des capitaux, des permis et des équipes de construction.

L'IA peut proposer un nouveau médicament, mais ne peut pas le faire entrer directement dans les hôpitaux. Entre les deux, il y a les expériences, les essais cliniques, les autorisations réglementaires, la production et les décisions des médecins.

L'IA peut suggérer de transférer des milliards de dollars, mais dans la réalité, les banques, les conseils d'administration, les départements de conformité et les systèmes d'autorisation n'exécuteront pas automatiquement une instruction simplement parce qu'un modèle l'a donnée.

L'énergie, les réseaux électriques, les transports, l'aviation, la santé, la finance, la défense et de vastes systèmes industriels ont tous des isolations physiques, des systèmes de permissions, des régimes réglementaires et des humains dans la boucle de décision.

Ces choses ralentissent parfois l'innovation, et peuvent même profondément agacer les entrepreneurs.

Mais vues sous un autre angle, elles sont aussi un énorme Safety Buffer de la société moderne.

L'intelligence numérique peut croître très vite, mais transformer cette Intelligence en contrôle sur le Physical World exige de traverser de nombreuses couches d'interfaces du monde réel.

Chaque couche a ses frictions, et chaque couche a d'autres personnes.

C'est pourquoi j'ai toujours été sceptique vis-à-vis du scénario où « une Superintelligence apparaissant soudainement prend rapidement le contrôle du monde réel et crée une crise existentielle pour l'humanité ».

Cela ne veut pas dire que c'est théoriquement impossible. Cela veut dire que si quelqu'un avance un chiffre comme « plus de 10 % d'ici dix ans », ce que je veux voir n'est pas seulement une conclusion effrayante, mais un chemin plus concret :

Comment l'IA traverse-t-elle ces couches de tampons du monde réel ?

Quels systèmes échoueraient en premier ?

Quelles décisions humaines seraient contournées ?

Quelles capacités physiques l'IA pourrait-elle acquérir si rapidement ?

Et pourquoi la régulation, les permissions et l'organisation sociale existantes n'auraient-elles pas le temps de réagir ?

Ces questions méritent d'être étudiées, mais il est aujourd'hui très difficile de compresser les réponses en une probabilité à l'air si précise.

Pendant ce temps, nous avons déjà de nombreux problèmes d'AI Safety bien réels à résoudre.

Les Agents dépassent leurs droits, fuient des données, appellent les mauvais outils, subissent des Prompt Injections, et peuvent prendre dans des tâches complexes des Shortcuts que les développeurs n'avaient pas anticipés.

Ces risques sont réels, observables, et peuvent être continuellement améliorés grâce aux Permissions, au Sandbox, au Monitoring, à la Human Approval et à un meilleur Model Alignment.

C'est aussi le Safety sur lequel je préfère me concentrer.

Parce qu'au moins du point de vue de quelqu'un qui construit des produits IA aujourd'hui, le plus gros problème que je vois n'est toujours pas que l'IA est devenue trop puissante pour être contrôlée.

Bien souvent, c'est l'inverse :

L'IA n'est pas encore assez bonne.

Elle fait encore beaucoup d'erreurs très basiques, les tâches complexes exigent toujours une supervision, et de nombreux Business Workflows ont encore besoin de logique déterministe pour fonctionner de façon fiable.

Nous devons bien sûr continuer à étudier ces risques de faible probabilité mais aux conséquences extrêmes.

Mais en même temps, j'espère que l'industrie de l'IA continuera de consacrer une grande énergie à un problème très concret :

How do we make AI actually work better?

Qu'elle aide les entreprises à gagner en efficacité, les scientifiques à faire de la recherche, les médecins à accéder à de meilleures informations, et les gens ordinaires à accomplir ce qu'ils ne pouvaient pas faire avant.

La sécurité doit progresser avec ces capacités, pas se construire sur la peur du public.

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.