Keamanan AI Tanpa Hari Kiamat

Dunia AI belakangan kembali serius membahas "kepunahan manusia".

Evan Hubinger, Alignment Science Lead di Anthropic, memberikan penilaian pribadi yang sangat mengejutkan: dalam sepuluh tahun ke depan, probabilitas AI menyebabkan kepunahan manusia melebihi 10%. Jensen Huang berdiri di sisi yang sepenuhnya berlawanan, menganggap AI doomerism semacam ini berlebihan — dan khawatir bahwa terus-menerus menekankan skenario kiamat pada akhirnya akan membuat publik takut pada AI.

Dalam perdebatan ini, saya lebih dekat ke pandangan Jensen.

Bukan karena AI Safety tidak penting, melainkan karena saya selalu merasa, dari "AI menjadi sangat pintar" ke "AI mampu membentuk dominasi tak terkendali atas masyarakat fisik", masih ada rantai yang sangat panjang.

Di dunia yang murni digital, saya memang lebih khawatir soal keamanan AI.

Sebuah Agent bisa menulis kode dalam jumlah besar dalam hitungan detik, memindai jaringan, memanggil API, menyalin informasi, bahkan menemukan jalur yang tidak pernah diantisipasi pengembangnya. Beberapa kasus Agent Safety yang baru-baru ini dipublikasikan OpenAI dan Anthropic sudah menunjukkan bahwa risiko semacam ini nyata.

Tapi begitu meninggalkan dunia software murni, situasinya sama sekali berbeda.

Dunia nyata penuh gesekan.

AI bisa merancang sebuah pabrik, tapi tidak bisa membangunnya lewat sebuah API. Ia butuh lahan, peralatan, pemasok, modal, izin, dan kru konstruksi.

AI bisa mengusulkan obat baru, tapi tidak bisa langsung memasukkannya ke rumah sakit. Di antaranya ada eksperimen, uji klinis, persetujuan regulator, produksi, dan keputusan dokter.

AI bisa menyarankan memindahkan miliaran dolar, tapi dalam kenyataan bank, dewan direksi, departemen kepatuhan, dan sistem otorisasi tidak akan otomatis mengeksekusi hanya karena sebuah model memberi instruksi.

Energi, jaringan listrik, transportasi, penerbangan, kesehatan, keuangan, pertahanan, dan sangat banyak sistem industri — semuanya punya isolasi fisik, sistem izin, rezim regulasi, dan manusia dalam loop keputusan.

Hal-hal ini kadang memperlambat inovasi, bahkan bisa sangat menyebalkan bagi para founder.

Tapi dari sudut pandang lain, semua itu juga adalah Safety Buffer raksasa bagi masyarakat modern.

Kecerdasan digital bisa tumbuh sangat cepat, tapi mengubah Intelligence itu menjadi kendali atas Physical World harus melewati banyak lapisan antarmuka dunia nyata.

Setiap lapisan punya gesekan, dan setiap lapisan punya orang lain.

Jadi saya selalu skeptis terhadap jalur "sebuah Superintelligence yang tiba-tiba muncul dengan cepat mengambil alih dunia nyata dan menciptakan krisis eksistensial bagi umat manusia".

Ini bukan berarti secara teoretis mustahil, melainkan: kalau seseorang memberi angka seperti "lebih dari 10% dalam sepuluh tahun", yang ingin saya lihat bukan hanya kesimpulan yang menakutkan, tapi jalur yang lebih konkret:

Bagaimana AI melintasi lapisan-lapisan penyangga dunia nyata ini?

Sistem mana yang akan gagal lebih dulu?

Keputusan manusia mana yang akan dilewati?

Kemampuan fisik apa yang bisa diperoleh AI secepat itu?

Dan kenapa regulasi, izin, dan organisasi sosial yang ada tidak sempat bereaksi?

Pertanyaan-pertanyaan ini layak diteliti, tapi saat ini sangat sulit memadatkan jawabannya menjadi satu probabilitas yang tampak sangat presisi.

Sementara itu, kita sudah punya banyak masalah AI Safety yang benar-benar terjadi dan perlu diselesaikan.

Agent bisa melampaui wewenang, membocorkan data, salah memanggil tools, terkena Prompt Injection, dan mungkin mengambil Shortcut dalam tugas kompleks yang tidak diantisipasi pengembang.

Risiko-risiko ini nyata, bisa diamati, dan bisa terus diperbaiki lewat Permission, Sandbox, Monitoring, Human Approval, dan Model Alignment yang lebih baik.

Inilah juga Safety yang lebih ingin saya fokuskan.

Karena setidaknya dari sudut pandang membangun produk AI hari ini, masalah terbesar yang saya lihat masih bukan bahwa AI sudah terlalu kuat untuk dikendalikan.

Sering kali justru sebaliknya:

AI belum cukup bagus.

Ia masih membuat banyak kesalahan yang sangat mendasar, tugas kompleks masih butuh pengawasan, dan banyak Business Workflow masih butuh logika deterministik untuk berjalan andal.

Kita tentu harus terus meneliti risiko-risiko berprobabilitas rendah tapi berkonsekuensi ekstrem itu.

Tapi pada saat yang sama, saya lebih berharap industri AI terus mencurahkan energi besar pada satu masalah yang sangat nyata:

How do we make AI actually work better?

Biarkan ia membantu perusahaan meningkatkan efisiensi, membantu ilmuwan meneliti, membantu dokter mendapatkan informasi yang lebih baik, membantu orang biasa menyelesaikan hal yang dulu tidak mampu mereka lakukan.

Keamanan harus maju bersama kemampuan-kemampuan ini, bukan dibangun di atas ketakutan publik.

Take the risks seriously. But don't turn uncertainty into fear.

For now, there are still far more real problems waiting for AI to solve.