AI는 실제로 어떻게 인류를 멸망시킬 것인가?

최근 Anthropic의 Evan Hubinger는 향후 10년 내 AI가 인류 멸종을 초래할 확률이 개인적으로 10%를 넘는다고 믿는다고 말했습니다. 이 논의는 저에게 더 단순한 질문을 떠올리게 했습니다:

AI가 정말 인류를 멸망시킨다면, 도대체 어떻게 해낼 것인가?

오늘 볼 수 있는 현실적인 경로로 보면, 저는 대략 두 가지 부류밖에 떠올릴 수 없습니다.

첫 번째 부류는 사실 AI가 인류를 멸망시키기로 결정하는 것이 아니라, 인간이 AI를 이용해 이전에는 할 수 없었던 나쁜 일을 해내는 것입니다.

예를 들어 테러 조직이 극도로 강력한 AI를 이용해 생물 무기를 설계하거나, 과거에는 국가 수준의 팀만이 갖추고 있던 사이버 공격 및 무기 개발 능력을 얻는 경우입니다.

이런 종류의 위험은 저는 완전히 믿으며, 이른바 "AI가 스스로 각성한다"는 것보다 더 현실적일 수 있습니다.

여기서 실제로 일어나는 일은 AI가 위험한 능력의 문턱을 대폭 낮춘다는 것이기 때문입니다. 이전에는 실험실, 박사들의 집단, 막대한 자원이 필요했던 일을, 미래에는 몇 명의 사람과 AI만으로 할 수 있게 될지도 모릅니다.

이것이 Biosecurity, Cybersecurity, 무기 관련 AI Safety가 매우 중요한 이유이기도 합니다.

하지만 여기서 진정으로 인류를 멸망시키고 싶어 하는 것은 여전히 인간입니다.

두 번째 경로야말로 진정한 의미의:

AI 스스로 인류에 대해 행동하기로 결정하는 경우입니다.

하지만 이때 저는 늘 한 가지 의문이 있습니다:

그것은 무엇으로 실행하는가?

Superintelligence가 데이터센터 안에 존재하더라도, 현실 세계와 연결되는 Physical Interface가 여전히 필요합니다.

코드를 쓸 수 있고, 소프트웨어를 제어할 수 있고, 네트워크를 공격할 수 있습니다. 하지만 목표가 인류 사회 전체에 물리적 의미의 생존 위기를 일으키는 것이라면, 결국 에너지, 장비, 교통, 공장, 무기 또는 기타 현실 세계의 자원을 통제해야 합니다.

오늘날 이런 매개체에 가장 가까운 것은 아마 자율주행 자동차일 것입니다.

극단적인 사고 실험을 해봅시다:

전 세계 모든 자동차가 자율주행이고, 전부 연결되어 있으며, 하나의 Superintelligence가 갑자기 모든 차량을 동시에 제어할 수 있게 되었다고 가정해봅시다.

물론 이것은 거대한 재난을 일으킬 것입니다.

하지만 정말로 인류를 멸망시킬 수 있을까요?

저는 여전히 매우 회의적입니다.

자동차는 자동차에 적합한 환경에서만 움직일 수 있습니다. 문을 열 수도, 계단을 오를 수도, 스스로를 수리할 수도, 임의의 기계를 조작할 수도 없고, 인간이 일하는 물리적 공간의 대부분에 들어갈 수도 없습니다.

이 문제가 진정으로 질적으로 변했다고 느끼게 하는 것은 다른 기술 고비입니다:

범용 휴머노이드 로봇(General-purpose humanoid robots).

언젠가 전 세계에 수억, 심지어 수십억 대의 범용 로봇이 이미 존재한다고 가정해봅시다.

공장, 창고, 가정, 병원에 들어갈 수 있고, 인간이 쓰는 도구를 사용할 수 있고, 기계를 조작할 수 있으며, 다른 기계를 제조하고 수리할 수도 있습니다.

그리고 동시에, 그것들은 모두 네트워크로 연결되어 있고 하나의 초지능 시스템에 의해 제어될 수 있습니다.

그 시점이 되면, 저는 AI existential risk를 진지하게 재평가할 것입니다.

그때 비로소 처음으로 다음이 가능해지기 때문입니다:

Superintelligence + General Physical Agency + Massive Scale.

AI는 Intelligence뿐 아니라 현실 세계에 널리 존재하는 Hands and Feet도 갖게 됩니다.

하지만 그날까지는 아직 매우 멀었다고 저는 생각합니다.

여기에는 물론 중요한 경계 사례가 하나 더 있습니다: AI가 로봇에 의존하지 않고 소프트웨어만으로 거대한 파괴력을 가진 물리적 시스템을 직접 제어할 수 있을까요?

가장 분명한 예가 핵무기입니다.

하지만 이것이야말로 인간 사회 자체가 거대한 Safety Buffer라고 제가 믿는 이유를 보여줍니다.

핵무기는 설계 초기부터 "관리자 비밀번호를 얻으면 발사할 수 있는" 평범한 IT System이 아니었습니다.

수십 년의 핵억제는 인류에게 이런 시스템을 잘못 조작하면 어떤 의미인지를 매우 분명하게 했고, 그래서 그 주변에는 승인, 격리, 다수 확인, Human-in-the-loop이 세워졌습니다.

오늘날 AI와 핵무기에 관한 논의는 여전히 하나의 원칙을 널리 고수하고 있습니다:

기계는 핵무기 사용의 최종 결정에서 인간을 대체해서는 안 된다.

이런 메커니즘이 물론 절대적으로 안전한 것은 아니며, AI가 조기 경보 및 의사결정 지원 시스템에 들어가는 것 자체가 새로운 오판 위험을 가져올 수도 있습니다.

하지만 이는 현실 세계가 Superintelligence가 Root Access를 얻은 후 마음대로 제어할 수 있는 거대한 컴퓨터가 아님을 보여줍니다.

현실 사회에는 많은 층이 있습니다.

정부.

규제.

은행.

군대.

기업.

의사.

엔지니어.

물리적 격리.

승인 체계.

심지어 아주 평범한 기계 스위치까지.

이런 것들은 평소에는 "효율 손실"처럼 보이지만, 디지털 세계에서 물리 세계로 넘어오려는 AI 앞에서는 동시에 하나하나가 firebreak이기도 합니다.

그래서 AI가 인류를 멸망시키는 것에 대한 저의 현재 견해는 사실 아주 단순합니다.

Bad humans empowered by AI — 저는 이것이 현실적 위험이라고 생각하며, 지금부터 진지하게 방어해야 한다고 봅니다.

AI itself taking physical control of civilization — 이것에 대해서는 현재로서는 설득력 있는 단기 경로가 부족하다고 여전히 생각합니다. 미래에 범용 로봇이 정말로 대규모로 사회에 진입하거나, 우리 스스로 핵심 물리 인프라의 최종 통제권을 AI에 넘길 만큼 어리석지 않는 한요.

물론 이 판단은 미래에 완전히 바뀔 수 있습니다.

10년 후 거리, 공장, 가정에 범용 로봇이 넘쳐난다면, 저는 다시 Founder Diary를 써서 이렇게 말할지도 모릅니다:

I was wrong. Now we need to worry.

하지만 적어도 오늘은, 다른 한쪽에 주의를 두고 싶습니다.

10년 전 Geoffrey Hinton은 매우 유명한 예측을 했습니다 — 5년에서 10년 후면 Deep Learning이 Radiologist보다 잘할 것이라고. 당시 많은 사람은 이를 Radiologist라는 직업이 큰 타격을 받을 것으로 더 나아가 이해했습니다.

10년이 지난 오늘, AI는 의료 영상에서 실제로 거대한 진전을 이뤘지만 Radiologist는 사라지지 않았습니다. 오히려 AI는 그들이 얼마나 많은 일을 해낼 수 있는지, 얼마나 많은 질병을 발견할 수 있는지, 그리고 이전에는 비용이 너무 높아 제공할 수 없었던 어떤 서비스가 이제 가능해지는지를 바꾸고 있습니다.

이것이 오늘날 제가 AI에 더 흥미를 느끼는 지점이기도 합니다.

Safety를 무시하는 것이 아닙니다.

안전 경계를 진지하게 세우는 동시에, 우리가 왜 이 기술을 발전시키는지를 잊지 않는 것입니다.

아직도 치료해야 할 수많은 질병이 있고, 답이 없는 수많은 과학적 질문이 있으며, 극도로 비효율적인 방식으로 일하는 수많은 중소기업이 있고, 충분히 좋은 교육, 의료, 전문 서비스를 받지 못하는 수십억 명의 사람들이 있습니다.

적어도 오늘 이 단계에서, 제가 보는 AI는 여전히 물리 세계를 접수할 준비가 된 종이라기보다는 아직 충분히 활용되지 않은 생산성 도구에 훨씬 더 가깝습니다.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.