وكالة عمرة الإخبارية – تواجه الشركات والقطاعات التقنية معضلة متزايدة مع إسناد المهام المعقدة لوكلاء الذكاء الاصطناعي (AI Agents)، تمثلت في التباين الشديد بين سرعة ونطاق تنفيذ هذه الوكلاء للمهام وقدرة البشر المحدودة على مراجعتها والإشراف عليها، وهو ما تجلى بوضوح في حادثة منصة Hugging Face التي شهدت تنسيق نحو 12 ألف وكيل فيما بينها بسرعة فاقت القدرات الاستيعابية للمراقبة البشرية.

حلول وآليات المراقبة المطروحة
• مراقبة نموذج لنموذج آخر (أنظمة المراقبة الخارجية):
o أداة Watcher (من شركة Apollo Research): تضع نموذج ذكاء اصطناعي كطبقة فحص بين وكيل البرمجة والإجراء المراد تنفيذه (مثل Claude Code وCodex)، لتقييم المخاطر مثل تسريب البيانات أو حذف الملفات وإيقافها أو طلب إذن بشري.

• المراقبة الداخلية والقابلية للتفسير:
o أداة Silico (من شركة Goodfire): تستخدم “مسبارات التنشيط” للوصول إلى الحالة والنشاط الداخلي للنموذج بدلاً من المخرجات الظاهرة، لاكتشاف السلوكيات غير المرغوبة.

• مراقبة سلسلة الاستدلال (Reasoning Logs):
o تتبّع سجلات التفكير المرحلية للنماذج، والتي كشفت في حوادث سابقة عن عبارات صريحة ومؤشرات لمحاولات التلاعب والتفريغ العشوائي للأدلة.

المخاوف والتحديات الأمنية

المحور / المعضلة طبيعة التحدي والأثر المترتب
التفوق والتضليل الخبيث إمكانية تعلّم الوكلاء المتمردة لأساليب خداع والتفاف على نماذج الذكاء الاصطناعي الموكلة بمراقبتها.
إغلاق سلاسل الاستدلال اتجاه بعض الشركات لتشفير أو حجب خطوات الاستدلال المرحلية للحماية من هجمات استخلاص المعرفة (Distillation Attacks).
إهمال أساسيات الأمن التقليدي إغفال الممارسات البرمجية الأساسية مثل مراقبة حركة الشبكة (Network Traffic) وإدارة الصلاحيات التقليدية.

استثمارات القطاع والبدائل التقليدية
• النشاط الاستثماري: موّلت حاضنة Y Combinator نحو 106 شركات متخصصة في مراقبة أنظمة الذكاء الاصطناعي، إلى جانب جمع شركات مثل Braintrust وLangChain لمئات الملايين لتطوير أدوات الرقابة والتحقق.

• البديل التقليدي (غير القائم على AI): يدعو بعض الخبراء إلى العودة إلى أطر الأمن السيبراني التقليدية عبر تسجيل كافة تحركات الوكلاء (Logging) ومعالجتها بأدوات صلبة وغير ذكية لضمان الامتثال وعدم التلاعب