Bagaimana AI Sebenarnya Akan Memusnahkan Umat Manusia?

Baru-baru ini, Evan Hubinger dari Anthropic mengatakan bahwa secara pribadi ia menilai probabilitas AI menyebabkan kepunahan manusia dalam sepuluh tahun ke depan melebihi 10%. Diskusi ini membuat saya memunculkan pertanyaan yang lebih sederhana:

Kalau AI benar-benar akan memusnahkan umat manusia, bagaimana tepatnya ia melakukannya?

Dengan jalur realistis yang bisa terlihat hari ini, saya kurang lebih hanya bisa membayangkan dua kategori.

Kategori pertama sebenarnya bukan AI yang memutuskan memusnahkan manusia, melainkan manusia memanfaatkan AI untuk melakukan kejahatan yang sebelumnya tidak bisa mereka lakukan.

Misalnya, organisasi teroris memanfaatkan AI yang luar biasa kuat untuk merancang senjata biologis, atau memperoleh kemampuan serangan siber dan pengembangan senjata yang dulu hanya dimiliki tim setingkat negara.

Risiko semacam ini sepenuhnya saya percaya, dan mungkin lebih realistis daripada apa yang disebut "AI yang bangkit sendiri".

Karena yang benar-benar terjadi di sini adalah AI secara besar-besaran menurunkan ambang kemampuan berbahaya. Hal yang dulu membutuhkan laboratorium, sekelompok PhD, dan sumber daya besar, di masa depan mungkin bisa dilakukan beberapa orang plus AI.

Inilah juga kenapa Biosecurity, Cybersecurity, dan AI Safety terkait senjata sangat penting.

Tapi di sini, yang benar-benar ingin memusnahkan manusia tetaplah manusia.

Jalur kedua adalah yang dalam arti sesungguhnya:

AI sendiri memutuskan untuk bertindak melawan umat manusia.

Tapi pada titik ini saya selalu punya satu pertanyaan:

Ia mengeksekusinya dengan apa?

Sekalipun sebuah Superintelligence ada di dalam pusat data, ia tetap membutuhkan Physical Interface yang menghubungkannya dengan dunia nyata.

Ia bisa menulis kode, mengendalikan software, menyerang jaringan. Tapi kalau tujuannya adalah menciptakan krisis eksistensial secara fisik bagi seluruh masyarakat manusia, pada akhirnya ia tetap perlu mengendalikan energi, peralatan, transportasi, pabrik, senjata, atau sumber daya dunia nyata lainnya.

Yang paling mendekati wahana semacam itu hari ini mungkin adalah mobil self-driving.

Mari kita lakukan eksperimen pikiran ekstrem:

Andaikan semua mobil di dunia self-driving, semuanya terhubung ke jaringan, dan sebuah Superintelligence tiba-tiba bisa mengendalikan semua kendaraan secara bersamaan.

Itu tentu akan menimbulkan bencana besar.

Tapi apakah ia benar-benar bisa memusnahkan umat manusia?

Saya tetap sangat skeptis.

Mobil hanya bisa beraktivitas di lingkungan yang cocok untuk mobil. Ia tidak bisa membuka pintu, naik tangga, memperbaiki dirinya sendiri, mengoperasikan mesin sembarangan, atau masuk ke sebagian besar ruang fisik tempat manusia bekerja.

Yang benar-benar membuat saya merasa pertanyaan ini berubah secara kualitatif adalah tonggak teknologi yang lain:

Robot humanoid serbaguna (General-purpose humanoid robots).

Andaikan suatu hari, di seluruh dunia sudah ada ratusan juta bahkan miliaran robot serbaguna.

Mereka bisa masuk ke pabrik, gudang, rumah, dan rumah sakit, bisa menggunakan alat yang digunakan manusia, bisa mengoperasikan mesin, juga bisa membuat dan memperbaiki mesin lain.

Dan pada saat yang sama, semuanya terhubung ke jaringan dan bisa dikendalikan oleh satu sistem super cerdas.

Sampai pada saat itu, saya akan mengevaluasi ulang AI existential risk dengan serius.

Karena saat itulah untuk pertama kalinya mungkin muncul:

Superintelligence + General Physical Agency + Massive Scale.

AI tidak hanya memiliki Intelligence, tapi juga memiliki Hands and Feet yang tersebar luas di dunia nyata.

Tapi menurut saya kita masih sangat jauh dari hari itu.

Tentu di sini ada satu kasus batas yang penting: bisakah AI, tanpa robot, langsung mengendalikan lewat software sistem fisik dengan daya rusak luar biasa?

Contoh paling jelas adalah senjata nuklir.

Tapi ini justru menunjukkan kenapa saya percaya masyarakat manusia itu sendiri adalah Safety Buffer raksasa.

Senjata nuklir, sejak awal dirancang, bukanlah IT System biasa yang "mendapatkan password admin berarti bisa meluncurkan".

Puluhan tahun deterens nuklir membuat umat manusia sangat sadar apa artinya salah operasi pada sistem semacam itu, sehingga di sekelilingnya dibangun otorisasi, isolasi, konfirmasi banyak orang, dan Human-in-the-loop.

Diskusi hari ini tentang AI dan senjata nuklir masih umumnya berpegang pada satu prinsip:

Mesin tidak boleh menggantikan manusia dalam mengambil keputusan akhir penggunaan senjata nuklir.

Mekanisme ini tentu saja tidak sepenuhnya aman, dan masuknya AI ke sistem peringatan dini dan pendukung keputusan sendiri bisa membawa risiko salah perhitungan baru.

Tapi ini menunjukkan bahwa dunia nyata bukan satu komputer raksasa yang bisa dikendalikan seenaknya oleh Superintelligence setelah memperoleh Root Access.

Masyarakat nyata punya banyak lapisan.

Pemerintah.

Regulasi.

Bank.

Militer.

Perusahaan.

Dokter.

Insinyur.

Isolasi fisik.

Sistem otorisasi.

Bahkan sebuah saklar mekanis yang sangat biasa.

Hal-hal ini biasanya terlihat seperti "kerugian efisiensi", tapi menghadapi AI yang mencoba menyeberang dari dunia digital ke dunia fisik, semuanya sekaligus adalah firebreak satu demi satu.

Jadi pandangan saya saat ini tentang AI memusnahkan manusia sebenarnya sangat sederhana.

Bad humans empowered by AI — menurut saya ini risiko nyata, yang harus ditangkal dengan serius mulai sekarang.

AI itself taking physical control of civilization — untuk ini saya saat ini masih merasa belum ada jalur jangka pendek yang meyakinkan. Kecuali di masa depan robot serbaguna benar-benar masuk ke masyarakat dalam skala besar, atau kita sendiri cukup bodoh untuk menyerahkan kendali akhir atas infrastruktur fisik kritis kepada AI.

Tentu saja, penilaian ini bisa saja berubah total di masa depan.

Kalau sepuluh tahun lagi, robot serbaguna sudah ada di mana-mana di jalanan, pabrik, dan rumah, mungkin saya akan menulis Founder Diary lagi dan berkata:

I was wrong. Now we need to worry.

Tapi setidaknya hari ini, saya lebih suka mengarahkan perhatian ke sisi yang lain.

Sepuluh tahun lalu, Geoffrey Hinton pernah meramalkan dengan sangat terkenal bahwa lima sampai sepuluh tahun kemudian Deep Learning akan lebih baik daripada Radiologist — dan waktu itu banyak orang memahami lebih jauh bahwa profesi Radiologist akan terpukul hebat.

Sepuluh tahun kemudian, AI memang mencapai kemajuan besar dalam pencitraan medis, tapi Radiologist tidak hilang. Sebaliknya, AI sedang mengubah berapa banyak pekerjaan yang bisa mereka selesaikan, berapa banyak penyakit yang bisa mereka temukan, dan layanan apa yang dulu terlalu mahal untuk disediakan kini menjadi mungkin.

Inilah juga yang lebih menarik minat saya tentang AI hari ini.

Bukan mengabaikan Safety.

Melainkan sambil serius membangun batas keamanan, jangan lupa kenapa kita mengembangkan teknologi ini.

Masih ada banyak sekali penyakit yang perlu diobati, banyak sekali pertanyaan ilmiah tanpa jawaban, banyak sekali usaha kecil yang masih bekerja dengan cara yang sangat tidak efisien, dan masih ada miliaran orang yang tidak bisa mendapatkan pendidikan, layanan kesehatan, dan layanan profesional yang cukup baik.

Setidaknya pada tahap hari ini, AI yang saya lihat masih jauh lebih mirip sebuah alat produktivitas yang belum dimanfaatkan sepenuhnya, bukan spesies yang sudah siap mengambil alih dunia fisik.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.