أمان الذكاء الاصطناعي دون يوم القيامة
عادت أوساط الذكاء الاصطناعي تناقش بجدية «انقراض البشرية». Evan Hubinger، مسؤول Alignment Science في Anthropic، قدّم تقديرًا شخصيًا صادمًا: احتمال أن يتسبب الذكاء الاصطناعي في انقراض البشرية خلال عشر سنوات يتجاوز 10%. أما Jensen Huang فيقف على النقيض تمامًا. في هذا الجدل أنا أقرب إلى Jensen — ليس لأن أمان الذكاء الاصطناعي غير مهم، بل لأن السلسلة بين «يصبح الذكاء الاصطناعي ذكيًا جدًا» و«يهيمن على المجتمع المادي دون سيطرة» طويلة جدًا.
عادت أوساط الذكاء الاصطناعي مؤخرًا تناقش بجدية مسألة «انقراض البشرية».
Evan Hubinger، مسؤول Alignment Science في Anthropic، قدّم حكمًا شخصيًا مفاجئًا جدًا: خلال العقد القادم، احتمال أن يتسبب الذكاء الاصطناعي في انقراض البشرية يتجاوز 10%. أما Jensen Huang فيقف على النقيض تمامًا، معتبرًا أن هذا النوع من AI doomerism مبالغ فيه — وقلقًا من أن التأكيد المستمر على سيناريوهات نهاية العالم سيجعل الجمهور في النهاية يخاف من الذكاء الاصطناعي.
في هذا الجدل، أنا أقرب إلى وجهة نظر Jensen.
ليس لأن AI Safety غير مهم، بل لأنني طالما شعرت أن بين «الذكاء الاصطناعي يصبح ذكيًا جدًا» و«الذكاء الاصطناعي قادر على هيمنة خارجة عن السيطرة على المجتمع المادي»، لا تزال هناك سلسلة طويلة جدًا.
في العالم الرقمي الخالص، أنا فعلًا أكثر قلقًا بشأن سلامة الذكاء الاصطناعي.
يمكن لـ Agent أن يكتب كميات ضخمة من التعليمات البرمجية في ثوانٍ، ويفحص الشبكات، ويستدعي APIs، وينسخ المعلومات، بل ويجد مسارات لم يتوقعها مطوّروه. بعض حالات Agent Safety التي نشرتها OpenAI وAnthropic مؤخرًا تُظهر بالفعل أن هذا النوع من المخاطر حقيقي.
لكن بمجرد مغادرة عالم البرمجيات الخالص، يختلف الوضع تمامًا.
العالم الحقيقي مليء بالاحتكاك.
يمكن للذكاء الاصطناعي أن يصمم مصنعًا، لكنه لا يستطيع بناءه عبر API. يحتاج إلى أرض ومعدات وموردين ورأس مال وتراخيص وفرق بناء.
يمكن للذكاء الاصطناعي أن يقترح دواءً جديدًا، لكنه لا يستطيع إدخاله المستشفيات مباشرة. بينهما تجارب وتجارب سريرية وموافقات تنظيمية وإنتاج وقرارات الأطباء.
يمكن للذكاء الاصطناعي أن يقترح تحويل مليارات الدولارات، لكن في الواقع لن تنفذ البنوك ومجالس الإدارة وأقسام الامتثال وأنظمة التفويض تلقائيًا مجرد أن نموذجًا أصدر تعليمات.
الطاقة وشبكات الكهرباء والنقل والطيران والرعاية الصحية والمالية والدفاع وعدد هائل من الأنظمة الصناعية — كلها لديها عزل مادي وأنظمة صلاحيات وأنظمة تنظيمية وبشر في حلقة اتخاذ القرار.
هذه الأشياء أحيانًا تُبطئ الابتكار، بل وقد تزعج روّاد الأعمال كثيرًا.
لكن من زاوية أخرى، هي أيضًا Safety Buffer هائل للمجتمع الحديث.
الذكاء الرقمي يمكن أن ينمو بسرعة كبيرة، لكن تحويل هذه Intelligence إلى سيطرة على Physical World يتطلب المرور عبر طبقات كثيرة من واجهات العالم الحقيقي.
كل طبقة فيها احتكاك، وكل طبقة فيها أشخاص آخرون.
لذلك طالما كنت متشككًا في مسار «ظهور Superintelligence فجأة تسيطر بسرعة على العالم الحقيقي وتخلق أزمة وجودية للبشرية».
هذا لا يعني أنه مستحيل نظريًا. يعني أن من يقدم رقمًا مثل «أكثر من 10% خلال عشر سنوات»، ما أريد أن أراه ليس مجرد استنتاج مرعب، بل مسارًا أكثر تحديدًا:
كيف يعبر الذكاء الاصطناعي هذه الطبقات من مصدّات العالم الحقيقي؟
أي الأنظمة ستفشل أولًا؟
أي القرارات البشرية سيتم تجاوزها؟
أي القدرات المادية يمكن للذكاء الاصطناعي اكتسابها بهذه السرعة؟
ولماذا لن تتمكن التنظيمات والصلاحيات والتنظيم الاجتماعي القائمة من الاستجابة في الوقت المناسب؟
هذه الأسئلة تستحق البحث، لكن حاليًا من الصعب جدًا ضغط الإجابات في احتمال يبدو بهذه الدقة.
في هذه الأثناء، لدينا بالفعل الكثير من مشاكل AI Safety التي تحدث فعلًا وتحتاج إلى حل.
الوكلاء (Agents) يتجاوزون صلاحياتهم، ويسرّبون البيانات، ويستدعون الأدوات الخاطئة، ويتعرضون لـ Prompt Injection، وقد يسلكون في المهام المعقدة Shortcuts لم يتوقعها المطورون.
هذه المخاطر حقيقية وقابلة للملاحظة، ويمكن تحسينها باستمرار عبر Permissions وSandbox وMonitoring وHuman Approval وModel Alignment أفضل.
هذا أيضًا هو Safety الذي أفضل التركيز عليه.
لأنه على الأقل من منظور بناء منتجات الذكاء الاصطناعي اليوم، أكبر مشكلة أراها ما زالت ليست أن الذكاء الاصطناعي أصبح أقوى من أن يُسيطر عليه.
في كثير من الأحيان الأمر معكوس تمامًا:
الذكاء الاصطناعي ليس جيدًا بما يكفي بعد.
ما زال يرتكب الكثير من الأخطاء الأساسية جدًا، والمهام المعقدة ما زالت تحتاج إلى إشراف، وعدد كبير من Business Workflows ما زال يحتاج إلى منطق حتمي (deterministic logic) ليعمل بموثوقية.
بالطبع يجب أن نواصل بحث تلك المخاطر منخفضة الاحتمال شديدة العواقب.
لكن في الوقت نفسه، أتمنى أن تواصل صناعة الذكاء الاصطناعي وضع طاقة هائلة في مشكلة عملية جدًا:
How do we make AI actually work better?
لتساعد الشركات على رفع الكفاءة، والعلماء على البحث، والأطباء على الحصول على معلومات أفضل، والناس العاديين على إنجاز ما لم يكونوا قادرين عليه من قبل.
الأمان يجب أن يتقدم جنبًا إلى جنب مع هذه القدرات، لا أن يُبنى على خوف الجمهور.
Take the risks seriously. But don't turn uncertainty into fear.
For now, there are still far more real problems waiting for AI to solve.
العالم المادي مليء بالاحتكاك — أراضٍ ومعدات وموردون وتراخيص وتجارب سريرية ومجالس إدارة وامتثال وقرارات بشرية في الحلقة. هذه الأشياء تُبطئ الابتكار أحيانًا، لكن من زاوية أخرى هي Safety Buffer هائل للمجتمع الحديث. الذكاء الرقمي قد ينمو بسرعة كبيرة، لكن تحويله إلى سيطرة على العالم المادي يتطلب اجتياز طبقات كثيرة من واجهات العالم الحقيقي — وكل طبقة فيها احتكاك، وفيها أشخاص آخرون.
عندما يذكر شخص ما احتمال انقراض دقيقًا، أي مسار ملموس تود أن تراه — أي الأنظمة تفشل أولًا، وأي القرارات البشرية يتم تجاوزها، ولماذا لن تستطيع التنظيمات القائمة الاستجابة في الوقت المناسب؟
تعامل مع المخاطر بجدية. لكن لا تحوّل عدم اليقين إلى خوف.
احصل على يوميات المؤسس + التحديثات التنظيمية لبلدك
بريد واحد في الأسبوع، وفقط عندما يكون هناك جديد حقيقي — يوميات ريتشارد المؤسس والتحديثات التنظيمية المهمة حيث تعيش. مجانًا، ويمكنك إلغاء الاشتراك في أي وقت.