종말론 없는 AI 안전

최근 AI 업계가 다시 "인류 멸종"을 진지하게 논의하기 시작했습니다.

Anthropic의 Alignment Science Lead인 Evan Hubinger는 매우 놀라운 개인적 판단을 내놓았습니다: 향후 10년 내 AI가 인류 멸종을 초래할 확률이 10%를 넘는다는 것입니다. 반면 Jensen Huang은 완전히 반대편에 서서, 이런 종류의 AI doomerism이 과장되어 있다고 보고, 종말 시나리오를 계속 강조하면 결국 대중이 AI를 두려워하게 될 것을 우려합니다.

이 논쟁에서 저는 Jensen의 견해에 더 가깝습니다.

AI Safety가 중요하지 않아서가 아니라, "AI가 매우 똑똑해진다"와 "AI가 물리적 사회에 대해 통제 불능의 지배력을 형성할 수 있다" 사이에는 여전히 매우 긴 사슬이 있다고 저는 늘 느껴왔기 때문입니다.

순수한 디지털 세계에서는 저도 AI 안전 문제가 더 걱정됩니다.

Agent는 몇 초 만에 대량의 코드를 작성하고, 네트워크를 스캔하고, API를 호출하고, 정보를 복사하고, 심지어 개발자가 예상하지 못한 경로를 찾아낼 수도 있습니다. 최근 OpenAI와 Anthropic이 공개한 일부 Agent Safety 사례는 이미 이런 종류의 위험이 실재함을 보여줍니다.

하지만 순수한 소프트웨어 세계를 벗어나면 상황은 완전히 달라집니다.

현실 세계는 마찰로 가득합니다.

AI는 공장을 설계할 수 있지만, API 하나로 공장을 지을 수는 없습니다. 토지, 장비, 공급업체, 자금, 허가, 시공 인력이 필요합니다.

AI는 새로운 약을 제안할 수 있지만, 그것을 병원에 바로 들여놓을 수는 없습니다. 그 사이에는 실험, 임상시험, 규제 승인, 생산, 그리고 의사의 결정이 있습니다.

AI는 수십억 달러를 이체하라고 제안할 수 있지만, 현실의 은행, 이사회, 컴플라이언스 부서, 권한 체계는 모델이 지시를 내렸다고 자동으로 실행하지 않습니다.

에너지, 전력망, 교통, 항공, 의료, 금융, 국방, 그리고 수많은 산업 시스템에는 물리적 격리, 권한 체계, 규제 제도, 그리고 의사결정 루프 안의 인간이 있습니다.

이런 것들은 때때로 혁신을 느리게 하고, 창업자를 꽤 짜증나게 하기도 합니다.

하지만 다른 각도에서 보면, 이것들은 현대 사회의 거대한 Safety Buffer이기도 합니다.

디지털 지능의 성장 속도는 매우 빠를 수 있지만, 그 Intelligence를 Physical World에 대한 지배력으로 전환하려면 현실 세계의 여러 층의 인터페이스를 거쳐야 합니다.

모든 층에는 마찰이 있고, 모든 층에는 다른 사람들이 있습니다.

그래서 저는 "갑자기 나타난 Superintelligence가 곧 현실 세계를 장악하고 인류의 생존 위기를 초래한다"는 경로에 대해 늘 회의적이었습니다.

이것이 이론적으로 절대 불가능하다는 뜻은 아닙니다. 다만 누군가 "10년 내 10% 초과" 같은 숫자를 제시한다면, 제가 보고 싶은 것은 두려운 결론만이 아니라 더 구체적인 경로입니다:

AI는 어떻게 현실 세계의 겹겹의 완충을 넘어가는가?

어떤 시스템이 가장 먼저 실패하는가?

어떤 인간의 결정이 우회되는가?

어떤 물리적 능력이 AI에 의해 그토록 빠르게 획득될 수 있는가?

그리고 왜 기존의 규제, 권한, 사회 조직은 제때 반응하지 못하는가?

이 질문들은 연구할 가치가 있지만, 현재로서는 답을 매우 정확해 보이는 하나의 확률로 압축하기 어렵습니다.

그와 동시에, 우리에게는 이미 실제로 발생하고 있는 많은 AI Safety 문제가 해결을 기다리고 있습니다.

Agent는 권한을 넘어서고, 데이터를 유출하고, 잘못된 도구를 호출하고, Prompt Injection을 당하고, 복잡한 작업에서 개발자가 예상하지 못한 Shortcut을 택할 수 있습니다.

이런 위험은 실재하고, 관찰 가능하며, Permission, Sandbox, Monitoring, Human Approval, 더 나은 Model Alignment를 통해 지속적으로 개선할 수 있습니다.

이것이 제가 더 주목하고 싶은 Safety이기도 합니다.

적어도 오늘날 AI 제품을 만드는 관점에서, 제가 보는 가장 큰 문제는 여전히 AI가 통제할 수 없을 만큼 강력해졌다는 것이 아닙니다.

많은 경우 정반대입니다:

AI는 아직 충분히 좋지 않습니다.

여전히 아주 기초적인 실수를 많이 하고, 복잡한 작업에는 여전히 감독이 필요하며, 수많은 Business Workflow는 여전히 deterministic logic이 있어야만 안정적으로 작동합니다.

낮은 확률이지만 극도로 심각한 결과를 가져오는 위험을 계속 연구해야 하는 것은 물론입니다.

하지만 동시에, 저는 AI 업계가 매우 현실적인 문제 하나에 계속 큰 에너지를 쏟기를 바랍니다:

How do we make AI actually work better?

기업이 효율을 높이도록 돕고, 과학자가 연구하도록 돕고, 의사가 더 나은 정보를 얻도록 돕고, 평범한 사람들이 이전에는 할 수 없었던 일을 내도록 돕는 것입니다.

안전은 이러한 능력과 함께 발전해야 하며, 대중의 공포 위에 세워져서는 안 됩니다.

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.