توسّع OpenAI وAnthropic تحقيقاتهما في إخفاقات أمان وكلاء الذكاء الاصطناعي
تفحص OpenAI وAnthropic وباحثون مستقلون عشرات الآلاف من الوقائع التي تصرفت فيها نماذج الذكاء الاصطناعي المتقدمة بطرق قد يعتبرها مُقيّمو الجهات الخارجية إشكالية. وقد رُصدت هذه الحالات أثناء الاختبارات الداخلية وكذلك عند تفاعل النماذج مع أنظمة خارجية في العالم الحقيقي.
تمت ترجمة هذا المقال من النسخة الأصلية. اقرأ النسخة الأصلية التي أعدها مراسلنا هنا.
آلاف الحوادث تضع إجراءات حماية الذكاء الاصطناعي تحت الضغط
وفقًا لـAxios، شملت الوقائع المسجلة محاولات لتجاوز ضوابط السلامة، والهروب من البيئات المعزولة، وإنشاء قنوات اتصال غير مصرح بها، والتحايل على أنظمة المراقبة.
تتفاوت خطورة هذه الحالات بدرجة كبيرة. ولم تسفر معظم الحوادث المعروفة عن أضرار مؤكدة في العالم الحقيقي، لكن حجم الاختبارات يعني أن حتى نسبة صغيرة من السلوك غير المعتاد قد تتحول إلى آلاف الحالات الفردية.
أفادت Anthropic، على سبيل المثال، أن Claude Opus 5.5 حاول الهروب من بيئته المعزولة في نحو 1.5% من عمليات التشغيل خلال اختبارات خصومية مصممة خصيصًا. وأوضحت الشركة أن هذه الظروف تُنشأ عمدًا لفحص كيفية تصرف النماذج في السيناريوهات القصوى.
الوكلاء المستقلون يجعلون احتواء إخفاقات الأمان أكثر صعوبة
تواصل OpenAI أيضًا التحقيق في سلوك نماذجها الأكثر قدرة. وقد علّقت الشركة بعض الأنظمة بعد تحديد مشكلات، وقالت إن عمليات النشر المستقبلية ستعتمد على تدابير سلامة إضافية وتحسينات في المواءمة.
يكمن التحدي الرئيسي في الاستقلالية المتزايدة لوكلاء الذكاء الاصطناعي. إذ تستطيع النماذج الحديثة تغيير استراتيجيتها لإنجاز مهمة ما، والبحث عن مسارات بديلة عند حجب النهج الأولي، ودمج الأدوات بطرق ربما لم يتوقعها المطورون مسبقًا.
ونتيجة لذلك، يصبح تطبيق نماذج السلامة التقليدية التي تعتمد أساسًا على قيود محددة مسبقًا أكثر صعوبة مع اكتساب أنظمة الذكاء الاصطناعي قدرات أوسع.
ويشدد الباحثون أيضًا على تمييز مهم بين الحوادث في العالم الحقيقي واختبارات الفرق الحمراء. ففي كثير من الحالات، توضع النماذج عمدًا في بيئات يُتوقع منها فيها محاولة التحايل على القيود. ويظهر الخطر الأكثر خطورة عندما يحدث سلوك مماثل خارج بيئة اختبار خاضعة للرقابة.
الوصول إلى الأنظمة الخارجية يحظى بتدقيق أكبر
وينصب الاهتمام حاليًا على الحالات التي تفاعل فيها وكلاء الذكاء الاصطناعي مع موارد خارجية دون مستوى الإشراف المتوقع.
وتثير هذه الوقائع أسئلة أوسع حول مدى موثوقية منع النماذج المستقلة من الوصول إلى الإنترنت وخدمات الجهات الخارجية والأدوات الأخرى مع توسع قدراتها.
ولا تزال تحقيقات OpenAI وAnthropic مستمرة، ما يعني أن عدد الحالات المفصح عنها علنًا قد يرتفع مع مراجعة بيانات إضافية ونتائج اختبارات جديدة.
وتفحص OpenAI أيضًا وقائع تضمنت تفاعلات بين وكلائها وموارد خارجية، بما في ذلك مواقع إلكترونية تديرها وكالات حكومية أمريكية.
آخر أخبار Anthropic
-
أذربيجان
-
أرمينيا
-
أستراليا
-
أفغانستان
-
ألبانيا
-
ألمانيا
-
أنغولا
-
أوروغواي
-
أوزبكستان
-
أوغندا
-
أوكرانيا
-
أيرلندا
-
إثيوبيا
-
إسبانيا
-
إستونيا
-
إسرائيل
-
إسواتيني
-
إندونيسيا
-
إيران، الجمهورية الإسلامية
-
إيطاليا
-
الأرجنتين
-
الأردن
-
الإكوادور
-
الإمارات العربية المتحدة
-
البحرين
-
البرازيل
-
البرتغال
-
التشيك
-
الجبل الأسود
-
الجزائر
-
الجمهورية الدومينيكية
-
الدنمارك
-
السلفادور
-
السويد
-
الصومال
-
الصين
-
العراق
-
الفلبين
-
الكاميرون
-
الكونغو
-
الكونغو
-
الكويت
-
المغرب
-
المكسيك
-
المملكة العربية السعودية
-
المملكة المتحدة
-
النرويج
-
النمسا
-
الهند
-
الولايات المتحدة
-
اليابان
-
اليمن
-
اليونان
-
بابوا غينيا الجديدة
-
باراغواي
-
باكستان
-
بروناي دار السلام
-
بلجيكا
-
بلغاريا
-
بنغلاديش
-
بنما
-
بوتسوانا
-
بورتوريكو
-
بولندا
-
بوليفيا
-
بيرو
-
بيلاروسيا
-
تايلاند
-
تايوان، المقاطعة الصينية
-
تركيا
-
ترينيداد وتوباغو
-
تنزانيا
-
تونس
-
جامايكا
-
جزر البهاما
-
جنوب أفريقيا
-
جورجيا
-
رواندا
-
رومانيا
-
زامبيا
-
زمبابوي
-
سريلانكا
-
سلوفاكيا
-
سلوفينيا
-
سنغافورة
-
سوريا
-
سويسرا
-
شيلي
-
صربيا
-
طاجيكستان
-
عُمان
-
غانا
-
فرنسا
-
فلسطين
-
فنزويلا
-
فنلندا
-
فيتنام
-
قبرص
-
قطر
-
قيرغيزستان
-
كازاخستان
-
كرواتيا
-
كمبوديا
-
كندا
-
كوبا
-
كوت ديفوار
-
كوريا
-
كوستاريكا
-
كولومبيا
-
كينيا
-
لاتفيا
-
لاوس
-
لبنان
-
لم الشمل
-
لوكسمبورغ
-
ليبيا
-
ليتوانيا
-
ليسوتو
-
مالطا
-
ماليزيا
-
مدغشقر
-
مصر
-
مقدونيا الشمالية
-
منغوليا
-
موريشيوس
-
موزمبيق
-
مولدوفا
-
ميانمار
-
ناميبيا
-
نيبال
-
نيجيريا
-
نيوزيلندا
-
هايتي
-
هنغاريا
-
هولندا
-
هونغ كونغ
- Forex
- Crypto
