عندما تبدأ وكلاء الذكاء الاصطناعي بالعمل، يجب أيضاً تصميم المسؤولية

نشرت رويترز مؤخراً خبراً مثيراً للاهتمام: مع بدء وكلاء الذكاء الاصطناعي تنفيذ المزيد والمزيد من المهام الحقيقية بشكل مستقل، بدأت شركات التأمين السيبراني في إعادة النظر في وثائق التأمين الخاصة بها.

في الماضي، كان التأمين السيبراني يغطي أساساً هجمات الاختراق وتسريب البيانات وأعطال الأنظمة. لكن عندما يقوم وكيل ذكاء اصطناعي — دون توجيه بشري خطوة بخطوة — بالوصول إلى الأنظمة بشكل مستقل واستدعاء الأدوات واتخاذ القرارات، فإن أي خسارة يتسبب بها تبدأ في جعل التعريفات التقليدية للمسؤولية ضبابية:

هل يُعتبر وكيل الذكاء الاصطناعي "مهاجماً"؟ من مزود النموذج ومطوّر البرنامج والشركة التي تستخدم الوكيل، من يجب أن يتحمل المسؤولية بالضبط؟ إذا تجاوزت أفعال الوكيل تعليماته الأصلية، فهل يظل التأمين يدفع التعويض؟

رابط الخبر: Reuters: As AI agents go rogue, cyber insurers are adapting their policies

هذا التقرير جعلني أفكر: عندما نناقش وكلاء الذكاء الاصطناعي، يركز الجميع عادة أولاً على ما يستطيعون فعله — ونادراً ما نناقش ما يحدث بعد أن يرتكبوا خطأ.

قد يكون تأثير إجابة روبوت محادثة الخاطئة عن سؤال عادي محدوداً. لكن إذا كان الوكيل قادراً على الوصول إلى بريد الشركة الإلكتروني وتعديل بيانات العملاء والتواصل مع الموردين وإنشاء أوامر الدفع، بل وحتى التعامل مع الشؤون المالية والضريبية، فإن خطأً واحداً يمكن أن يتحول من "إجابة غير دقيقة" إلى خسارة تجارية حقيقية.

بالنسبة لـ SnapLedger، هذه المسألة مهمة بشكل خاص.

في المستقبل، يمكن لـ Snappy مساعدة المستخدمين في تصنيف المعاملات ومطابقة المستندات وإصدار الفواتير وإعداد السجلات المحاسبية ومتابعة العملاء والبحث عن الموردين، بل وحتى الاتصال بأنظمة البنوك والضرائب والفوترة الإلكترونية.

لكن كلما زاد ما يستطيع الوكيل فعله، قلّ قدرتنا على السعي وراء "درجة الأتمتة" وحدها.

يجب علينا أيضاً تصميم حدود للمسؤولية.

على سبيل المثال: يمكن للذكاء الاصطناعي اقتراح تصنيف معاملة تلقائياً، لكن عندما تكون الثقة غير كافية، ينبغي تمريرها إلى المستخدم أو المحاسب للتأكيد. يمكن إنشاء فاتورة تلقائياً، لكن قبل إرسالها رسمياً قد يلزم التحقق من هوية العميل ومعدل الضريبة ومعلومات الدفع. يمكن إعداد إقرار ضريبي تلقائياً، لكن تقديمه الرسمي ينبغي أن يمر بعملية مراجعة وتفويض واضحة.

الإجراءات المختلفة تحمل مخاطر مختلفة — لذا لا ينبغي أن تحصل على صلاحيات أتمتة متطابقة.

أعتقد أن نظام وكلاء الذكاء الاصطناعي الموثوق حقاً يجب أن يكون قادراً على الإجابة عن عدة أسئلة على الأقل:

• لماذا اتخذ الوكيل هذا الإجراء؟
• ما البيانات والقواعد التي استخدمها؟
• ما الصلاحيات التي كانت لديه؟
• ما الخطوات التي يمكن إتمامها تلقائياً؟
• ما الخطوات التي يجب أن يوافق عليها إنسان؟
• إذا حدث خطأ، فهل يمكن تتبعه وتفسيره وتصحيحه؟

لهذا السبب تحتاج SnapLedger ليس فقط إلى الذكاء الاصطناعي، بل أيضاً إلى منطق محاسبي حتمي، وضوابط للصلاحيات، وسجل تدقيق كامل، ونقاط مراجعة بشرية محددة بوضوح.

في البرمجيات التقليدية، عادة ما يكون تتبع المسؤولية سهلاً، لأن كل نقرة وكل إرسال يقوم به شخص محدد.

لكن في عصر الوكلاء، يتحول دور الإنسان من "تنفيذ كل خطوة" إلى "تحديد الأهداف ومنح الصلاحيات وفحص النتائج". هذا لا يعني أن الإنسان لم يعد مسؤولاً — بل يعني أن المسؤولية يجب أن تُكتب في تصميم النظام بطريقة جديدة.

لا أعتقد أن الحل هو منع الوكيل من فعل أي شيء.

إذا كان كل إجراء يتطلب تأكيداً بشرياً خطوة بخطوة، فإن الوكيل ينتهي به الأمر ليكون مجرد برنامج تقليدي بواجهة جديدة — ولن يتمكن من تحسين الكفاءة حقاً.

الطريقة الأكثر منطقية هي ترك الوكيل يكسب الثقة تدريجياً، ضمن حدود واضحة:

يقدم الاقتراحات أولاً، ثم ينفذ المهام منخفضة المخاطر؛ نحتفظ بالمراجعة البشرية أولاً، ثم نوسّع الصلاحيات تدريجياً بناءً على الأداء الفعلي؛ وكلما اقتربت المهمة من الأموال والضرائب والالتزامات الخارجية، ازدادت صرامة متطلبات النظام للأدلة والموافقات والتتبع.

حقيقة أن شركات التأمين بدأت في تعديل وثائقها تُظهر أن وكلاء الذكاء الاصطناعي لم يعودوا مجرد مفهوم في المختبر. إنهم يدخلون أنظمة الشركات الحقيقية — وبدأوا يخلقون أسئلة مسؤولية حقيقية.

بالنسبة للشركات الناشئة في مجال الذكاء الاصطناعي، هذا تذكير مهم:

لا يمكننا تصميم قدرات الوكيل فحسب. يجب أن نصمم مسؤولياته أيضاً.

وكيل الذكاء الاصطناعي الجدير بالثقة حقاً ليس من لا يخطئ أبداً. بل هو من يعرف حدوده قبل التصرف، ويترك أدلة كاملة أثناء التصرف، ويعرف متى تجاوز صلاحياته — فيعيد القرار إلى الإنسان.