終末論なしの AI セーフティ

最近、AI 業界がまた「人類絶滅」を真剣に議論し始めました。

Anthropic の Alignment Science Lead である Evan Hubinger は、非常に驚くべき個人的判断を示しました：今後 10 年以内に、AI が人類の絶滅を引き起こす確率は 10% を超える、というものです。一方 Jensen Huang は完全に反対側に立ち、この種の AI doomerism は誇張されていると考え、終末シナリオを強調し続けることが最終的に一般の人々を AI に恐怖を抱かせるのではないかと心配しています。

この議論において、私は Jensen の見方に近いです。

AI Safety が重要でないからではありません。「AI が非常に賢くなる」ことと「AI が物理社会に対して制御不能な支配力を形成できる」ことの間には、まだ非常に長い連鎖があると私はずっと感じているからです。

純粋なデジタル世界では、私は確かに AI の安全性をより心配しています。

Agent は数秒で大量のコードを書き、ネットワークをスキャンし、API を呼び出し、情報を複製し、開発者が予想していなかった経路を探すことさえできます。最近 OpenAI と Anthropic が公開した Agent Safety のいくつかの事例は、この種のリスクが実在することをすでに示しています。

しかし純粋なソフトウェアの世界を離れると、状況はまったく違います。

現実の世界は摩擦に満ちています。

AI は工場を設計できますが、API 一つで工場を建てることはできません。土地、設備、サプライヤー、資金、許認可、施工チームが必要です。

AI は新薬を提案できますが、それを直接病院に入れることはできません。その間には実験、臨床試験、規制当局の承認、生産、そして医師の判断があります。

AI は数十億ドルの移動を提案できますが、現実の銀行、取締役会、コンプライアンス部門、承認体系は、モデルが指示を出したからといって自動的に実行しません。

エネルギー、電力網、交通、航空、医療、金融、国防、そして膨大な産業システムには、物理的隔離、権限体系、規制制度、そしてループの中に人間がいる意思決定があります。

これらは時にイノベーションを遅くし、起業家をとても煩わしく感じさせることさえあります。

しかし別の角度から見れば、これらは現代社会の巨大な Safety Buffer でもあります。

デジタル知能の能力は非常に速く成長できますが、その Intelligence を Physical World への支配力に変換するには、現実世界の多くの層のインターフェースを通過する必要があります。

どの層にも摩擦があり、どの層にも他の人々がいます。

だから私は「突如現れた Superintelligence がすぐに現実世界を乗っ取り、人類の存続危機を引き起こす」という経路にずっと懐疑的です。

これは理論上絶対に不可能だという意味ではありません。「10 年以内に 10% 超」というような数字を誰かが示すなら、私が見たいのは恐ろしい結論だけではなく、より具体的な経路です：

AI はどうやって現実世界の幾層もの緩衝を越えるのか？

どのシステムが最初に失效するのか？

どの人間の意思決定が迂回されるのか？

どの物理的能力が AI にそんなに速く獲得されるのか？

そして、なぜ既存の規制、権限、社会組織は間に合うように反応できないのか？

これらの問いは研究に値しますが、現時点では答えを一つの非常に精密に見える確率に圧縮するのは困難です。

その一方で、私たちにはすでに実際に起きている AI Safety の問題がたくさんあり、解決が必要です。

Agent は権限を越え、データを漏洩し、間違ったツールを呼び出し、Prompt Injection を受け、複雑なタスクで開発者が予想しなかった Shortcut を取ることがあります。

これらのリスクは現実で、観察可能で、Permission、Sandbox、Monitoring、Human Approval、より良い Model Alignment を通じて継続的に改善できます。

これは私がより注目したい Safety でもあります。

少なくとも今日 AI プロダクトを作る立場から見れば、私が見る最大の問題は依然として、AI が制御できないほど強大になったことではありません。

多くの場合、むしろその逆です：

AI はまだ十分に良くない。

まだ多くの基本的なミスを犯し、複雑なタスクには依然として監督が必要で、大量の Business Workflow は依然として deterministic logic がなければ信頼して動かせません。

低確率だが極めて深刻な結果をもたらすリスクの研究を続けるべきなのはもちろんです。

しかし同時に、AI 業界には非常に現実的な問題に多大なエネルギーを注ぎ続けてほしいと私は思います：

How do we make AI actually work better?

企業の効率向上を助け、科学者の研究を助け、医師がより良い情報を得られるようにし、普通の人々が以前はできなかったことを成し遂げられるようにする。

安全性はこれらの能力とともに進歩すべきであり、公衆の恐怖の上に築かれるべきではありません。

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.