كيف سيدمّر الذكاء الاصطناعي البشرية فعلًا؟

قال Evan Hubinger من Anthropic مؤخرًا إنه يعتقد شخصيًا أن احتمال تسبب الذكاء الاصطناعي في انقراض البشرية خلال عشر سنوات يتجاوز 10%. قادني هذا النقاش إلى سؤال أبسط: لو كان الذكاء الاصطناعي سيدمّر البشرية فعلًا، كيف سيفعل ذلك تحديدًا؟ لا أرى إلا مسارين واقعيين: أشرار يمكّنهم الذكاء الاصطناعي — خطر أؤمن به تمامًا — والذكاء الاصطناعي يقرر بنفسه التحرك ضد البشرية، حيث أتساءل دائمًا: بماذا سينفّذ؟

RT
Richard Tang
Founder of SnapLedger. Building an all-in-one AI financial back office, in public.
11 سبتمبر 2026·6 دقيقة قراءة

قال Evan Hubinger من Anthropic مؤخرًا إنه يعتقد شخصيًا أن احتمال تسبب الذكاء الاصطناعي في انقراض البشرية خلال العقد القادم يتجاوز 10%. قادني هذا النقاش إلى سؤال أبسط:

لو كان الذكاء الاصطناعي سيدمّر البشرية فعلًا، كيف سيفعل ذلك تحديدًا؟

بالنظر إلى المسارات الواقعية المرئية اليوم، لا أستطيع أن أتخيل سوى فئتين تقريبًا.

الفئة الأولى ليست في الحقيقة أن الذكاء الاصطناعي يقرر تدمير البشرية، بل أن البشر يستخدمون الذكاء الاصطناعي لفعل أشياء فظيعة لم يكونوا قادرين عليها من قبل.

مثلًا، منظمة إرهابية تستخدم ذكاءً اصطناعيًا فائق القوة لتصميم أسلحة بيولوجية، أو تحصل على قدرات هجوم سيبراني وتطوير أسلحة لم تكن في الماضي إلا بحوزة فرق على مستوى الدول.

أنا أؤمن تمامًا بهذا النوع من المخاطر، وربما يكون أكثر واقعية مما يسمى «استيقاظ الذكاء الاصطناعي من تلقاء نفسه».

لأن ما يحدث حقًا هنا هو أن الذكاء الاصطناعي يخفض بشكل كبير عتبة القدرات الخطيرة. ما كان يتطلب سابقًا مختبرًا ومجموعة من حملة الدكتوراه وموارد ضخمة، قد يستطيع في المستقبل بضعة أشخاص مع ذكاء اصطناعي إنجازه.

ولهذا أيضًا تُعد Biosecurity وCybersecurity وAI Safety المتعلقة بالأسلحة مهمة جدًا.

لكن هنا، من يريد حقًا تدمير البشرية ما يزال الإنسان.


المسار الثاني هو المسار بالمعنى الحقيقي:

الذكاء الاصطناعي يقرر بنفسه التحرك ضد البشرية.

لكن عند هذه النقطة لطالما كان لدي سؤال:

بماذا سينفّذ؟

حتى لو وُجدت Superintelligence داخل مركز بيانات، فهي ما تزال بحاجة إلى Physical Interface يربطها بالعالم الحقيقي.

يمكنها كتابة التعليمات البرمجية والتحكم في البرمجيات ومهاجمة الشبكات. لكن إذا كان الهدف إحداث أزمة وجودية مادية للمجتمع البشري بأكمله، فهي في النهاية تحتاج إلى السيطرة على الطاقة والمعدات والنقل والمصانع والأسلحة أو غيرها من موارد العالم الحقيقي.

أقرب شيء اليوم إلى مثل هذا الناقل ربما هو السيارة ذاتية القيادة.

لنقم بتجربة فكرية متطرفة:

لنفترض أن جميع سيارات العالم ذاتية القيادة، وكلها متصلة بالشبكة، وأن Superintelligence فجأة أصبحت قادرة على التحكم في جميع المركبات في وقت واحد.

هذا بالتأكيد سيسبب كارثة هائلة.

لكن هل تستطيع حقًا تدمير البشرية؟

ما زلت متشككًا جدًا.

السيارات لا تستطيع العمل إلا في بيئات تناسب السيارات. لا تستطيع فتح الأبواب، ولا صعود السلالم، ولا إصلاح نفسها، ولا تشغيل أي آلة، ولا دخول الغالبية العظمى من المساحات المادية التي يعمل فيها البشر.

ما يجعلني أشعر فعلًا أن هذا السؤال يتغير نوعيًا هو معلم تقني آخر:

الروبوتات البشرية العامة الأغراض (General-purpose humanoid robots).

لنفترض أنه في يوم ما، يوجد في العالم مئات الملايين أو حتى مليارات الروبوتات العامة الأغراض.

يمكنها دخول المصانع والمستودعات والمنازل والمستشفيات، واستخدام الأدوات التي يستخدمها البشر، وتشغيل الآلات، وتصنيع آلات أخرى وإصلاحها.

وفي الوقت نفسه، كلها متصلة بالشبكة ويمكن أن يتحكم فيها نظام فائق الذكاء.

عند ذلك، سأعيد بجدية تقييم AI existential risk.

لأنه عندها قد يوجد لأول مرة:

Superintelligence + General Physical Agency + Massive Scale.

لن يملك الذكاء الاصطناعي Intelligence فحسب، بل أيضًا Hands and Feet منتشرة على نطاق واسع في العالم الحقيقي.

لكننا ما زلنا، في اعتقادي، بعيدين جدًا عن ذلك اليوم.


هناك بالطبع حالة حدّية مهمة هنا: هل يستطيع الذكاء الاصطناعي، دون روبوتات، أن يتحكم مباشرة عبر البرمجيات في أنظمة مادية ذات قدرة تدميرية هائلة؟

أوضح مثال هو الأسلحة النووية.

لكن هذا يوضح بالضبط لماذا أعتقد أن المجتمع البشري نفسه هو Safety Buffer هائل.

الأسلحة النووية، منذ تصميمها الأول، لم تكن أبدًا IT System عاديًا «من يحصل على كلمة مرور المدير يستطيع الإطلاق».

عقود من الردع النووي جعلت البشرية تدرك بوضوح شديد ماذا يعني سوء تشغيل مثل هذا النظام، لذلك بُنيت حوله التفويض والعزل والتأكيد من عدة أشخاص وHuman-in-the-loop.

نقاشات اليوم حول الذكاء الاصطناعي والأسلحة النووية ما تزال عمومًا متمسكة بمبدأ واحد:

يجب ألا تحل الآلات محل البشر في اتخاذ القرار النهائي باستخدام الأسلحة النووية.

هذه الآليات بالطبع ليست آمنة تمامًا، ودخول الذكاء الاصطناعي إلى أنظمة الإنذار المبكر ودعم القرار قد يخلق بحد ذاته مخاطر جديدة من سوء التقدير.

لكن هذا يدل على أن العالم الحقيقي ليس حاسوبًا عملاقًا واحدًا يمكن لـ Superintelligence التحكم فيه كما تشاء بعد الحصول على Root Access.

المجتمع الحقيقي له طبقات كثيرة.

الحكومات.

التنظيم.

البنوك.

الجيوش.

الشركات.

الأطباء.

المهندسون.

العزل المادي.

أنظمة التفويض.

بل وحتى مفتاح ميكانيكي عادي جدًا.

هذه الأشياء تبدو عادة «خسائر في الكفاءة»، لكنها أمام ذكاء اصطناعي يحاول العبور من العالم الرقمي إلى العالم المادي، هي في الوقت نفسه firebreak تلو الآخر.


لذلك رأيي الحالي في أن الذكاء الاصطناعي سيدمر البشرية بسيط في الحقيقة.

Bad humans empowered by AI — أعتقد أن هذا خطر حقيقي، ويجب أن نتصدى له بجدية ابتداءً من الآن.

AI itself taking physical control of civilization — ما زلت حاليًا أعتقد أنه ينقصه مسار مقنع على المدى القصير. إلا إذا دخلت الروبوتات العامة الأغراض المجتمع فعلًا على نطاق واسع في المستقبل، أو كنا نحن حمقى بما يكفي لنسلّم الذكاء الاصطناعي السيطرة النهائية على البنية التحتية المادية الحرجة.

بالطبع، هذا الحكم قد يتغير تمامًا في المستقبل.

إذا بعد عشر سنوات كانت الروبوتات العامة الأغراض منتشرة في الشوارع والمصانع والمنازل، فربما أكتب Founder Diary آخر أقول فيه:

I was wrong. Now we need to worry.

لكن على الأقل اليوم، أفضل أن أوجه انتباهي إلى الجانب الآخر.

قبل عشر سنوات، تنبأ Geoffrey Hinton تنبؤًا شهيرًا بأن Deep Learning بعد خمس إلى عشر سنوات سيتفوق على Radiologists — وفهم كثيرون من ذلك أن مهنة Radiologist ستتلقى ضربة هائلة.

بعد عشر سنوات، حقق الذكاء الاصطناعي بالفعل تقدمًا هائلًا في التصوير الطبي، لكن Radiologists لم يختفوا. على العكس: الذكاء الاصطناعي يغيّر مقدار العمل الذي يمكنهم إنجازه، وعدد الأمراض التي يمكنهم اكتشافها، وما هي الخدمات التي كانت مكلفة جدًا سابقًا وأصبحت ممكنة الآن.

هذا أيضًا هو ما يثير اهتمامي أكثر في الذكاء الاصطناعي اليوم.

ليس تجاهل Safety.

بل ألا ننسى، بينما نبني حدود الأمان بجدية، لماذا نطوّر هذه التقنية أصلًا.

ما تزال هناك أعداد هائلة من الأمراض تحتاج إلى علاج، وأسئلة علمية هائلة بلا إجابة، وشركات صغيرة كثيرة ما تزال تعمل بطرق شديدة عدم الكفاءة، ومليارات البشر لا يحصلون على تعليم ورعاية صحية وخدمات مهنية جيدة بما يكفي.

على الأقل في هذه المرحلة، الذكاء الاصطناعي الذي أراه ما يزال أشبه بكثير بـأداة إنتاجية لم تُستغل بعد بالكامل منه إلى كائن يستعد للسيطرة على العالم المادي.

We should take AI safety seriously.

But we should also keep building.

There are still far more problems for AI to solve than for AI to create.

فكرة اليوم

المجتمع نفسه هو Safety Buffer هائل. الأسلحة النووية لم تُصمم أصلًا كنظام IT عادي تكفي فيه كلمة مرور المدير للإطلاق — عقود من الردع بنت حولها التفويض والعزل والتأكيد متعدد الأشخاص ووجود الإنسان في الحلقة. الحكومات والتنظيم والبنوك والجيوش والمهندسون والعزل المادي، وحتى مفتاح ميكانيكي عادي: تبدو عادة «خسائر كفاءة»، لكنها أمام ذكاء اصطناعي يحاول العبور من الرقمي إلى المادي تصبح حواجز حريق واحدًا تلو الآخر.

سؤال مفتوح

ما الذي سيغيّر تقييمك للخطر الوجودي للذكاء الاصطناعي — هل هناك نقطة تقنية محددة (مثل الروبوتات البشرية العامة على نطاق واسع) عندها ستعيد التقييم بجدية؟

علينا أن نأخذ أمان الذكاء الاصطناعي بجدية. لكن علينا أيضًا أن نواصل البناء.

aisafetyindustryopinion

احصل على يوميات المؤسس + التحديثات التنظيمية لبلدك

بريد واحد في الأسبوع، وفقط عندما يكون هناك جديد حقيقي — يوميات ريتشارد المؤسس والتحديثات التنظيمية المهمة حيث تعيش. مجانًا، ويمكنك إلغاء الاشتراك في أي وقت.