AI 到底会怎么毁灭人类？

最近 Anthropic 的 Evan Hubinger 说，他个人认为未来十年 AI 导致人类灭绝的概率超过 10%。这场讨论让我产生了一个更简单的问题：

如果 AI 真的会毁灭人类，它到底怎么做到？

以今天能够看到的现实路径，我大致只能想到两类。

第一类其实不是 AI 决定毁灭人类，而是人类利用 AI 做到了以前做不到的坏事。

比如恐怖组织利用极其强大的 AI 设计生物武器，或者获得过去只有国家级团队才具备的网络攻击、武器研发能力。

这种风险我完全相信，而且可能比所谓“AI 自己觉醒”更加现实。

因为这里真正发生的事情，是 AI 大幅降低了危险能力的门槛。以前需要一个实验室、一群博士和大量资源才能完成的事情，未来可能几个人加上 AI 就能做到。

这也是为什么 Biosecurity、Cybersecurity 和 Weapons-related AI Safety 非常重要。

但这里真正想毁灭人类的，仍然是人。

第二条路径才是真正意义上的：

AI 自己决定对人类采取行动。

但这时候我一直有一个疑问：

它靠什么执行？

一个 Superintelligence 即使存在于数据中心里，仍然需要一个连接现实世界的 Physical Interface。

它可以写代码，可以控制软件，可以攻击网络。但如果目标是对整个人类社会造成物理意义上的生存危机，它最终还是需要控制能源、设备、交通、工厂、武器或者其他现实世界的资源。

今天最接近这种载体的，也许是自动驾驶汽车。

我们做一个极端思想实验：

假设全世界所有汽车都是自动驾驶的，全部联网，而且一个 Superintelligence 突然能够同时控制所有车辆。

这当然会造成巨大的灾难。

但它真的能够毁灭人类吗？

我仍然很怀疑。

汽车只能在适合汽车的环境中活动。它不能开门、爬楼梯、维修自己、操作任意机器，也不能进入绝大多数人类工作的物理空间。

真正让我觉得这个问题发生质变的，是另外一个技术节点：

General-purpose humanoid robots.

假设有一天，全世界已经存在数亿甚至数十亿台通用机器人。

它们可以走进工厂、仓库、家庭和医院，可以使用人类使用的工具，可以操作机器，也可以制造和维修其他机器。

同时，它们全部联网，并且能够被一个超级智能系统控制。

到了那个时候，我会认真重新评估 AI existential risk。

因为那时第一次可能出现：

Superintelligence + General Physical Agency + Massive Scale.

AI 不仅拥有 Intelligence，也拥有了广泛存在于现实世界中的 Hands and Feet。

但我们离这一天，我认为仍然非常远。

这里当然还有一个重要的边界情况：AI 能不能不依赖机器人，而是通过软件直接控制具有巨大破坏力的物理系统？

最明显的例子就是核武器。

但这恰恰说明了为什么我认为人类社会本身就是一个巨大的 Safety Buffer。

核武器从设计之初，就不是一个“拿到管理员密码就可以发射”的普通 IT System。

几十年的核威慑让人类非常清楚这种系统一旦误操作意味着什么，因此围绕它建立了授权、隔离、多人确认和 Human-in-the-loop。

今天关于 AI 与核武器的讨论仍然普遍坚持一个原则：

机器不能取代人类做出核武器使用的最终决定。

这些机制当然不是绝对安全的，AI 进入预警和决策支持系统本身也可能带来新的误判风险。

但这说明现实世界并不是一个 Superintelligence 获得 Root Access 以后就可以随意控制的巨大计算机。

现实社会有很多层。

政府。

监管。

银行。

军队。

企业。

医生。

工程师。

物理隔离。

授权体系。

甚至一个很普通的机械开关。

这些东西平时看起来都是“效率损失”，但面对一个试图从数字世界进入物理世界的 AI，它们同时也是一道道 firebreak。

所以我目前对 AI 毁灭人类的看法其实很简单。

Bad humans empowered by AI，我认为是现实风险，应该现在就认真防范。

AI itself taking physical control of civilization，我目前仍然认为缺少一条令人信服的短期路径。除非未来通用机器人真正大规模进入社会，或者我们自己愚蠢到把关键物理基础设施的最终控制权交给 AI。

当然，这个判断未来完全可能改变。

如果十年以后，街上、工厂和家庭里已经到处都是通用机器人，我可能会重新写一篇 Founder Diary，说：

I was wrong. Now we need to worry.

但至少今天，我更愿意把注意力放在另外一面。

十年前 Geoffrey Hinton 曾经非常著名地预测，五到十年以后 Deep Learning 会比 Radiologist 做得更好，当时很多人进一步理解为 Radiologist 这个职业将受到巨大冲击。

十年后的今天，AI 在医学影像里确实取得了巨大进展，但 Radiologist 并没有消失。相反，AI 正在改变他们可以完成多少工作、发现多少疾病，以及哪些以前成本太高而无法提供的服务现在变得可能。

这也是我今天看 AI 更感兴趣的地方。

不是忽视 Safety。

而是在认真建立安全边界的同时，不要忘记我们为什么要发展这项技术。

还有大量疾病需要治疗，大量科学问题没有答案，大量小企业仍然在用极其低效的方式工作，也还有几十亿人无法获得足够好的教育、医疗和专业服务。

至少在今天这个阶段，我看到的 AI，仍然远远更像一个尚未被充分利用的生产力工具，而不是一个已经准备接管物理世界的物种。

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.