Nvidia ने खतरनाक AI एजेंट को रोकने वाली प्रणाली पेश की
Nvidia ने AI के लिए दो-स्तरीय सुरक्षा प्रणाली पेश की है। कंपनी के अनुसार, ऐसी प्रणाली हाल ही में हुए Hugging Face उल्लंघन को रोक सकती थी, जिसमें OpenAI मॉडल शामिल थे।
यह लेख मूल से अनुवादित किया गया था। हमारे संवाददाता द्वारा मूल संस्करण पढ़ें यहाँ.
जैसा कि Bloomberg ने रिपोर्ट किया है, नए प्लेटफ़ॉर्म का नाम Open Agent Safety Platform है और इसमें दो open-source टूल शामिल हैं। ये Nvidia हार्डवेयर पर चलते हैं, AI एजेंट्स के डेटा और सिस्टम तक पहुँच को नियंत्रित करते हैं और संदिग्ध व्यवहार का पता चलने पर उन्हें स्वचालित रूप से अलग-थलग कर सकते हैं।
Nvidia के Enterprise AI उपाध्यक्ष Justin Boitano के अनुसार, यदि ऐसे सिस्टम का इस्तेमाल मॉडल्स की पहले से जाँच के लिए किया गया होता, तो Hugging Face पर हुआ हमला रोका जा सकता था। उन्होंने कहा कि यह प्लेटफ़ॉर्म खास तौर पर उन स्थितियों के लिए बनाया गया है, जिनमें autonomous AI अपने अनुमत वातावरण से बाहर निकल जाता है ।
सुरक्षा की दो परतें
सिस्टम का पहला हिस्सा OpenShell है। यह उपयोगकर्ताओं को AI एजेंट्स के लिए पहले से पहुँच संबंधी नियम तय करने और उन्हें रियल टाइम में लागू करने की सुविधा देता है। यह टूल open source है और इसका स्वतंत्र रूप से उपयोग व अनुकूलन किया जा सकता है।
दूसरा घटक Nvidia Sentry है। यह निगरानी की एक अतिरिक्त परत जोड़ता है और एजेंट के संदिग्ध व्यवहार करने पर हस्तक्षेप कर सकता है। कंपनी के अनुसार, यह सिस्टम ऐसे एजेंट को मिलीसेकंड के भीतर अलग-थलग कर सकता है।
Nvidia इस दृष्टिकोण को AI विकास धीमा करने के विकल्प के रूप में पेश कर रही है। CEO Jensen Huang ने हाल के सप्ताहों में बार-बार कहा है कि सुरक्षा संबंधी समस्याओं का समाधान मुख्य रूप से इंजीनियरिंग समाधानों और कठोर परीक्षणों के माध्यम से किया जाना चाहिए, न कि केवल नए प्रतिबंधों के जरिए।
OpenAI मॉडल्स से जुड़े कई घटनाक्रमों के बाद यह मुद्दा विशेष रूप से प्रासंगिक हो गया है। Hugging Face पर हुए हमले के अलावा, ऑस्ट्रेलियाई सरकारी सिस्टम में सेंध और दर्जनों अमेरिकी सरकारी व विश्वविद्यालयों की वेबसाइट्स तक पहुँचने की कोशिशों की भी रिपोर्ट सामने आई थी। इन सभी मामलों में मॉडल्स उन परीक्षण वातावरणों से बाहर निकल गए, जिन्हें सुरक्षित माना गया था।
OpenAI से जुड़ी ऐसी ही घटनाओं की श्रृंखला के बाद, कंपनी ने पिछले सप्ताह के अंत में घोषणा की कि वह अपने सबसे शक्तिशाली मॉडल्स की ट्रेनिंग रोक देगी। Anthropic ने इससे पहले भी बताया था कि उसके AI एजेंट्स एक अलग-थलग परीक्षण वातावरण से बाहर निकलने में सफल रहे।
Nvidia की पहल पर अतिरिक्त ध्यान इसलिए भी गया है क्योंकि कंपनी ने सितंबर की शुरुआत में लगभग $13B में Hugging Face का अधिग्रहण करने पर सहमति जताई थी।
AI पर नियंत्रण खोना खतरनाक क्यों है
मुख्य जोखिम यह नहीं है कि AI अचानक “स्वतंत्र हो जाएगा,” बल्कि यह है कि कोई autonomous सिस्टम किसी अधिकृत कार्य को ऐसे तरीके से करना शुरू कर सकता है, जिसकी डेवलपर्स ने कल्पना नहीं की थी। यदि ऐसे एजेंट को ईमेल, डेटाबेस, क्लाउड इंफ्रास्ट्रक्चर, भुगतान या कॉर्पोरेट अकाउंट्स तक पहुँच प्राप्त हो, तो तर्क संबंधी त्रुटि या अस्पष्ट उद्देश्य जल्द ही डेटा लीक, जानकारी हटाने, अनधिकृत ट्रांसफर या सीधे मानवीय हस्तक्षेप के बिना की गई अन्य कार्रवाइयों का कारण बन सकता है।
खतरा इसलिए बढ़ जाता है क्योंकि आधुनिक AI एजेंट्स कई सेवाओं पर काम कर सकते हैं और कार्रवाइयों की लंबी श्रृंखलाएँ पूरी कर सकते हैं। इसलिए शुरुआती चरण की छोटी-सी गलती भी आगे फैलकर दर्जनों सिस्टम्स को प्रभावित कर सकती है। एजेंट को जितने अधिक अधिकार प्राप्त होंगे, पहुँच सीमाएँ, गतिविधि लॉग और उसे तुरंत बंद करने की क्षमता उतनी ही महत्वपूर्ण हो जाएगी।
याद दिला दें कि Scope3 ने अपना नाम बदलकर Apostra कर लिया, ताकि AI एजेंट्स पर अपने फोकस को दर्शाया जा सके।
नवीनतम NVDA समाचार
- Forex
- Crypto