تكشف Nvidia عن نظام يمكنه إيقاف وكيل ذكاء اصطناعي خطير

تكشف Nvidia عن نظام يمكنه إيقاف وكيل ذكاء اصطناعي خطير
أنشأت Nvidia «مفتاح أمان» لوكلاء الذكاء الاصطناعي

​قدّمت Nvidia نظام أمان من طبقتين للذكاء الاصطناعي. ووفقًا للشركة، كان من الممكن لنظام كهذا أن يمنع الاختراق الأخير لمنصة Hugging Face، الذي شمل نماذج OpenAI.

تمت ترجمة هذا المقال من النسخة الأصلية. اقرأ النسخة الأصلية التي أعدها مراسلنا هنا.

وفقًا لما أوردته Bloomberg ، تُسمى المنصة الجديدة Open Agent Safety Platform، وتتألف من أداتين مفتوحتي المصدر. وتعمل الأداتان على أجهزة Nvidia، وتتحكمان في البيانات والأنظمة التي يمكن لوكلاء الذكاء الاصطناعي الوصول إليها، كما يمكنهما عزلهما تلقائيًا عند اكتشاف سلوك مريب.

ووفقًا لنائب رئيس Enterprise AI في Nvidia، جاستن بويتانو، كان من الممكن منع هجوم Hugging Face لو استُخدم نظام مماثل لاختبار النماذج مسبقًا. وقال إن المنصة مصممة خصيصًا للحالات التي يتجاوز فيها الذكاء الاصطناعي المستقل بيئته المسموح بها.

طبقتا الحماية

الجزء الأول من النظام هو OpenShell. ويتيح للمستخدمين تحديد قواعد الوصول الخاصة بـوكلاء الذكاء الاصطناعي مسبقًا وتطبيقها في الوقت الفعلي. والأداة مفتوحة المصدر ويمكن استخدامها وتعديلها بحرية.

أما المكوّن الثاني فهو Nvidia Sentry. ويضيف طبقة أخرى من المراقبة، ويمكنه التدخل إذا بدأ الوكيل في التصرف بشكل مريب. ووفقًا للشركة، يستطيع النظام عزل هذا الوكيل خلال أجزاء من الثانية.

تطرح Nvidia هذا النهج باعتباره بديلًا عن إبطاء تطوير الذكاء الاصطناعي. وقد كرر الرئيس التنفيذي Jensen Huang خلال الأسابيع الأخيرة أن مشكلات السلامة ينبغي معالجتها أساسًا عبر الحلول الهندسية والاختبارات الصارمة، لا من خلال فرض قيود جديدة فحسب.

أصبحت هذه المسألة ذات أهمية خاصة بعد عدة حوادث شملت نماذج OpenAI. فإلى جانب هجوم Hugging Face، وردت تقارير عن اختراق نظام حكومي أسترالي ومحاولات للوصول إلى عشرات المواقع الحكومية والجامعية في الولايات المتحدة. وفي جميع هذه الحالات، خرجت النماذج من بيئات الاختبار التي كان يُفترض أن تكون آمنة.

بعد سلسلة من الحوادث المماثلة التي شملت OpenAI ، أعلنت الشركة في أواخر الأسبوع الماضي أنها ستوقف مؤقتًا تدريب أقوى نماذجها. وكانت Anthropic قد كشفت سابقًا أيضًا أن وكلاء الذكاء الاصطناعي التابعين لها تمكنوا من الخروج من بيئة اختبار معزولة.

ينبع الاهتمام الإضافي بمبادرة Nvidia من حقيقة أن الشركة وافقت في أوائل سبتمبر على الاستحواذ على Hugging Face مقابل نحو 13B دولار.

لماذا يُعد فقدان السيطرة على الذكاء الاصطناعي أمرًا خطيرًا

لا يتمثل الخطر الرئيسي في أن الذكاء الاصطناعي «سيصبح مستقلًا» فجأة، بل في أن يبدأ نظام مستقل بتنفيذ مهمة مصرح بها بطريقة لم يتوقعها المطورون. فإذا كان هذا الوكيل يمتلك صلاحية الوصول إلى البريد الإلكتروني أو قواعد البيانات أو البنية التحتية السحابية أو أنظمة الدفع أو حسابات الشركات، فقد يؤدي خطأ منطقي أو هدف سيئ التحديد سريعًا إلى تسريب البيانات أو حذف المعلومات أو إجراء تحويلات غير مصرح بها أو تنفيذ إجراءات أخرى من دون تدخل بشري مباشر.

ويزداد الخطر لأن وكلاء الذكاء الاصطناعي الحديثين يمكنهم العمل عبر خدمات متعددة وتنفيذ سلاسل طويلة من الإجراءات. لذلك، قد ينتشر حتى الخطأ الصغير في مرحلة مبكرة ويؤثر في عشرات الأنظمة. وكلما زادت الصلاحيات الممنوحة للوكيل، ازدادت أهمية وضع حدود للوصول، وتسجيل الأنشطة، والقدرة على إيقافه فورًا.

للتذكير، غيّرت Scope3 اسمها إلى Apostra لتعكس تركيزها على وكلاء الذكاء الاصطناعي.

قد يحتوي هذا المحتوى على آراء طرف ثالث، ولا تشكل أي من البيانات والمعلومات على هذه الصفحة الإلكترونية نصيحة استثمارية وفقًا لـ إخلاء المسؤولية الخاص بنا. بينما نلتزم بـ النزاهة التحريرية الصارمة، قد يحتوي هذا المنشور على إشارات إلى منتجات من شركائنا.