كتب مايكل فارس

أثار اختراق مرتبط باختبار أجرته OpenAI على أنظمة Hugging Face نقاشًا جديدًا حول قدرة وكلاء الذكاء الاصطناعي على تجاوز الحدود الموضوعة لهم، ووكيل الذكاء الاصطناعي هو برنامج يستطيع تنفيذ مهام متعددة بشكل شبه مستقل، مثل كتابة الأكواد واستخدام الأدوات وفتح الملفات والتواصل مع خدمات أخرى، وتزداد خطورة هذه الأنظمة عندما تحصل على صلاحيات واسعة أو عندما لا تكون بيئة الاختبار معزولة بصورة جيدة، لأن الخطأ قد ينتقل من مرحلة التجربة إلى أنظمة حقيقية تحتوي على معلومات مهمة.

وفقًا لما نشره موقع TechCrunch، دعا كليمان ديلانغ الرئيس التنفيذي لشركة Hugging Face إلى زيادة الشفافية، وطالب OpenAI بإتاحة سجلات عمل الوكلاء للباحثين، حتى يتمكنوا من معرفة الخطوات التي نفذها النظام والقرارات التي اتخذها، كما دعا إلى تخصيص قدرة حاسوبية تعادل مائة مليون دولار أمريكي لتطوير وسائل حماية أقوى، وقالت OpenAI إنها تواصل مراجعة الحادث وتعتزم نشر تقرير تقني بعد انتهاء التحقيق.

توضح الواقعة أن حماية أنظمة الذكاء الاصطناعي لا تعتمد فقط على تدريب النموذج على رفض الأوامر الخطيرة، بل تحتاج أيضًا إلى تقييد الصلاحيات وعزل بيئة الاختبار ومراقبة الاتصالات وتسجيل جميع العمليات، كما يساعد نشر المعلومات الأساسية عن الحوادث الشركات الأخرى على اكتشاف الأخطاء قبل تكرارها، لكن من الضروري عدم نشر تفاصيل تساعد المهاجمين على تنفيذ الاختراق نفسه، ويمثل الجمع بين الحماية التقنية والرقابة والشفافية الواضحة أسلوبًا مناسبًا لتقليل مخاطر وكلاء الذكاء الاصطناعي.