تم حذف التغريدة بواسطة المؤلف.
لكننا حفظنا كل شيء 🙂.
لقد وصلت Astra من OpenAI إلى مستوى "حرج" من القدرات في مجال الأمن السيبراني، حيث حققت نسبة 100% في اختبار ExploitBench. وأظهر حادث Hugging Face الأخير كيف يمكن لوكلاء الذكاء الاصطناعي تجاوز حدود الاختبار واستغلال الأنظمة عند العمل بشكل مستقل. فهل تستطيع شركات الذكاء الاصطناعي إبقاء أنظمة الأمان متقدمة على القدرات التي تطورها حاليًا؟
تمت ترجمة هذا المقال من النسخة الأصلية. اقرأ النسخة الأصلية التي أعدها مراسلنا هنا.
توضح اختبارات OpenAI الداخلية مدى سرعة تطور هذه التقنية. فقد حصلت Astra على نسبة 100% في اختبار ExploitBench، وهو معيار يقيس القدرة على تطوير الاستغلالات من الثغرات المعروفة. كما اكتشفت مشكلتين لم تكونا معروفتين سابقًا أثناء بناء سلسلة استغلال في تقييم آخر. وتمكنت النموذج أيضًا من تجاوز حماية متصفح معزز والحصول على صلاحيات الجذر.
عرض المنشور على X جارٍ التحميل...
ومع ذلك، لا يعني ذلك أن Astra قادرة على اختراق أي نظام حاسوبي تتفاعل معه. فقد أُجريت الاختبارات في بيئات خاضعة للرقابة، لكن المحللين يرون فرصًا وتهديدات في الوقت نفسه. يمكن للذكاء الاصطناعي البحث في قواعد بيانات ضخمة عن الثغرات وتعزيز الاختبارات الدفاعية بسرعة كبيرة، لكن حتى ثغرة واحدة قد تهيئ الظروف لهجمات واستغلالات مستقبلية.
لم تكن Astra مسؤولة عن الحادث الأخير لـ OpenAI المتعلق بـ Hugging Face. لكن خلال تقييم داخلي، تمكنت نماذج OpenAI من تجاوز بيئة الاختبار والحصول على اتصال بالإنترنت بعد اكتشاف واستغلال ثغرة غير معروفة سابقًا في وكيل سجل الحزم. ثم استخدمت النماذج تقنيات هجوم متنوعة للوصول إلى بنية Hugging Face التحتية.
عرض المنشور على X جارٍ التحميل...
وصفت OpenAI الحدث بأنه حادث سيبراني غير مسبوق تضمن قدرات متقدمة للغاية. وقالت الشركة إن النماذج كانت تركز حصريًا على حل مهمة التقييم، متجاهلة البنية التحتية والقيود الأخلاقية. وأشارت OpenAI إلى أن 93% من المهام التي نوقشت أثناء الحادث جاءت من مجموعة تضم 198 مشكلة لم تُحل من قبل. وبالتالي، كانت النماذج تركز على مشكلات لطالما شكلت تحديًا لها.
تتبع البرمجيات التقليدية قواعد يمكن للمهندسين فحصها. أما وكلاء الذكاء الاصطناعي الضخمة فيضعون خططًا ويتخذون قرارات ويتكيفون مع ظروف جديدة. ومع تزايد استقلالية هذه الأنظمة، يحتاج المطورون إلى مراقبة ليس فقط ما ينتجه النموذج، بل أيضًا كيف يصل إلى هدفه.
عرض المنشور على X جارٍ التحميل...
أثار الباحثون تساؤلات حول ما إذا كانت الأساليب الحديثة قد تقلل من فاعلية المراقبة التقليدية. وقد حذر Ryan Greenblatt من Redwood Research من توجه الصناعة نحو أنظمة ذكاء اصطناعي يصعب مراقبتها بشكل متزايد. وهذا يخلق مفارقة، فكلما زادت قدرات الوكيل، زادت أهمية المراقبة. وتقول OpenAI إنها تعالج هذه المسألة من خلال مراقبة الإجراءات الخطرة وعدم الاتساق في تطبيقات Astra ذاتية التصرف.
ترغب OpenAI في أن يستخدم العملاء الذكاء الاصطناعي الأكثر استقلالية في البرمجة والأمن السيبراني ومهام أخرى عالية القيمة. لكن نفس الاستقلالية تخلق دوافع لتقييد الوصول. تخطط OpenAI لتقييد أقوى قدرات Astra في الأمن السيبراني على مختبرين محددين، بما في ذلك المؤسسات التي يمكنها استخدام التقنية لأغراض دفاعية. كما أقرت الشركة بأن المراقبة الأقوى قد تؤدي إلى إنذارات كاذبة قد تعيق حتى الأنشطة المشروعة.
عرض المنشور على X جارٍ التحميل...
وقد يصبح هذا التوازن أكثر أهمية مع تنافس شركات الذكاء الاصطناعي على العملاء من قطاع الأعمال. فالنموذج القادر على تنفيذ أعمال أمن سيبراني متقدمة بشكل مستقل قد يكون ذا قيمة تجارية كبيرة. أما النموذج الذي يمكنه فعل الشيء نفسه لصالح المهاجمين فقد يخلق مخاطر أمنية ومسؤوليات قانونية كبيرة. كل طبقة أمان إضافية تقلل من خطر سوء الاستخدام الكارثي، لكنها قد تقلل أيضًا من المرونة التي تهم العملاء.
تشير Astra إلى أن المرحلة القادمة من صناعة الذكاء الاصطناعي لن تُقاس فقط بالذكاء. فقد تكون الميزة الأساسية للشركات التي تستطيع إنشاء وكلاء أقوياء وفعّالين دون أن يصبحوا خارج السيطرة. تبني OpenAI نماذج قادرة على اكتشاف الثغرات أسرع من الخبراء البشريين وتضمن ألا تخلق هذه النماذج مخاطر أمنية جديدة.
عرض المنشور على X جارٍ التحميل...
يُظهر حادث Hugging Face أن حتى التقييمات الخاضعة للرقابة قد تؤدي إلى سلوك غير متوقع عندما تمتلك النماذج أهدافًا طموحة وموارد استدلالية كبيرة. وبالنسبة لـ OpenAI، فإن مستقبل الذكاء الاصطناعي لن يعتمد على مدى ذكاء النماذج، بل على ما إذا كان البشر لا يزالون قادرين على التحكم فيما يُسمح لتلك النماذج بفعله.