AI は実際にどうやって人類を滅ぼすのか？

最近、Anthropic の Evan Hubinger が、今後 10 年以内に AI が人類の絶滅を引き起こす確率は個人的には 10% を超えると考えていると語りました。この議論を受けて、私にはもっとシンプルな問いが生まれました：

もし AI が本当に人類を滅ぼすとしたら、一体どうやってやるのか？

今日見えている現実的な経路で考えると、私には大きく二つの類型しか思いつきません。

第一の類型は、実は AI が人類を滅ぼすと決断するのではなく、人間が AI を使って、以前はできなかった悪事を成し遂げるというものです。

たとえば、テロ組織が極めて強力な AI を使って生物兵器を設計したり、かつて国家レベルのチームだけが持っていたサイバー攻撃や兵器開発の能力を獲得したりするケースです。

この種のリスクは完全に信じていますし、いわゆる「AI が自分で目覚める」よりも現実的かもしれません。

ここで本当に起きているのは、AI が危険な能力のハードルを大幅に下げるということだからです。以前は実験室と博士の集団と大量のリソースが必要だったことが、将来は数人と AI でできるようになるかもしれません。

だからこそ Biosecurity、Cybersecurity、兵器関連の AI Safety が非常に重要なのです。

しかしここで本当に人類を滅ぼそうとしているのは、依然として人間です。

第二の経路こそが、本来の意味での：

AI 自身が人類に対して行動を起こすと決める場合です。

しかしこのとき、私にはずっと一つの疑問があります：

それは何をもって実行するのか？

Superintelligence がデータセンターの中に存在していても、現実世界とつながる Physical Interface が依然として必要です。

コードを書き、ソフトウェアを制御し、ネットワークを攻撃することはできます。しかし、人類社会全体に物理的な意味での存続危機をもたらすことが目標なら、最終的にはエネルギー、設備、交通、工場、兵器、その他の現実世界のリソースを制御する必要があります。

今日この種の担い手に最も近いのは、おそらく自動運転車でしょう。

極端な思考実験をしてみましょう：

世界中のすべての車が自動運転で、すべてネットワークにつながっていて、ある Superintelligence が突然、すべての車両を同時に制御できるようになったとします。

これは確かに巨大な災害を引き起こすでしょう。

しかし、それは本当に人類を滅ぼすことができるでしょうか？

私は依然として非常に懐疑的です。

車は車に適した環境でしか動けません。ドアを開けられず、階段を登れず、自分を修理できず、任意の機械を操作できず、人間が働く物理空間の圧倒的多数に入ることもできません。

この問題が本当に質的に変わると私が感じるのは、別の技術的節目です：

汎用ヒューマノイドロボット（General-purpose humanoid robots）。

ある日、世界に数億、あるいは数十億台の汎用ロボットがすでに存在していると仮定しましょう。

工場、倉庫、家庭、病院に入っていけて、人間が使う道具を使えて、機械を操作でき、他の機械を製造・修理もできる。

そして同時に、それらはすべてネットワークにつながっており、一つの超知能システムに制御される。

その時点で、私は AI existential risk を真剣に再評価するでしょう。

なぜなら、そのとき初めて次のものが出現しうるからです：

Superintelligence + General Physical Agency + Massive Scale.

AI は Intelligence だけでなく、現実世界に広く存在する Hands and Feet を持つことになります。

しかしその日までは、まだ非常に遠いと私は考えています。

ここにはもちろん重要な境界ケースもあります：AI はロボットに頼らず、ソフトウェアだけで巨大な破壊力を持つ物理システムを直接制御できるのでしょうか？

最も明白な例は核兵器です。

しかしこれこそが、人間社会そのものが巨大な Safety Buffer であると私が考える理由を示しています。

核兵器は設計の最初から、「管理者パスワードを取れば発射できる」普通の IT System ではありませんでした。

数十年の核抑止は、こうしたシステムを誤操作することが何を意味するかを人類に非常に明確にさせ、その周りに承認、隔離、複数人確認、Human-in-the-loop が築かれました。

今日の AI と核兵器に関する議論は、依然として一つの原則を広く堅持しています：

機械は、核兵器使用の最終決定において人間に取って代わってはならない。

これらの仕組みはもちろん絶対に安全というわけではなく、AI が早期警戒や意思決定支援システムに入ること自体が、新しい誤判断のリスクをもたらす可能性もあります。

しかしこれは、現実世界が Superintelligence が Root Access を得た後に思いのままに制御できる巨大なコンピューターではないことを示しています。

現実の社会には多くの層があります。

政府。

規制。

銀行。

軍。

企業。

医師。

技術者。

物理的隔離。

承認体系。

ごく普通の機械スイッチさえも。

これらは普段は「効率の損失」に見えますが、デジタル世界から物理世界に入ろうとする AI に直面したとき、それらは同時に一つまた一つの firebreak でもあるのです。

だから、AI が人類を滅ぼすことについての私の現在の見方は、実はとてもシンプルです。

Bad humans empowered by AI — これは現実のリスクであり、今から真剣に防ぐべきだと考えます。

AI itself taking physical control of civilization — これについては現時点で、説得力のある短期的な経路が欠けていると依然考えています。将来汎用ロボットが本当に大規模に社会に入るか、あるいは私たち自身が重要な物理インフラの最終制御権を AI に渡してしまうほど愚かでない限り。

もちろん、この判断は将来完全に変わる可能性があります。

10 年後、街中、工場、家庭のあらゆるところに汎用ロボットがあふれていたら、私はもう一篇 Founder Diary を書いてこう言うかもしれません：

I was wrong. Now we need to worry.

しかし少なくとも今日は、もう一方の面に注意を向けたいと思います。

10 年前、Geoffrey Hinton は非常に有名な予測をしました——5 年から 10 年後には Deep Learning が Radiologist より上手くなるだろう、と。当時多くの人は、Radiologist という職業が大きな打撃を受けるだろうとさらに解釈しました。

10 年後の今日、AI は確かに医用画像で巨大な進歩を遂げましたが、Radiologist は消えていません。むしろ AI は、彼らがどれだけの仕事を成し遂げられるか、どれだけの病気を発見できるか、そして以前はコストが高すぎて提供できなかったサービスのどれが可能になるかを変えつつあります。

これが、今日私が AI により興味を持っているところでもあります。

Safety を無視することではありません。

安全の境界を真剣に築きながら、なぜ私たちがこの技術を発展させるのかを忘れないこと。

まだ大量の病気が治療を待ち、大量の科学の問いに答えがなく、大量の中小企業が依然として極めて非効率な方法で働いており、何十億人もの人々が十分に良い教育、医療、専門サービスを得られていません。

少なくとも今日この段階で、私が見ている AI は、依然として物理世界を乗っ取る準備のできた種というよりは、はるかにまだ十分に活用されていない生産性ツールに似ています。

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.