ट्वीट लेखक द्वारा हटा दिया गया था.
लेकिन हमने सब कुछ सहेज लिया 🙂.
OpenAI की Astra ने साइबर सुरक्षा क्षमता के "गंभीर" स्तर तक पहुँचते हुए ExploitBench पर 100% स्कोर किया है। हाल ही में Hugging Face की घटना ने दिखाया कि AI एजेंट परीक्षण सीमाओं से बाहर निकल सकते हैं और स्वायत्त रूप से काम करते समय सिस्टम का शोषण कर सकते हैं। तो क्या AI कंपनियाँ अपनी सुरक्षा प्रणालियों को उन क्षमताओं से आगे रख सकती हैं, जिन्हें वे वर्तमान में विकसित कर रही हैं?
यह लेख मूल से अनुवादित किया गया था। हमारे संवाददाता द्वारा मूल संस्करण पढ़ें यहाँ.
OpenAI के आंतरिक परीक्षण दिखाते हैं कि यह तकनीक कितनी तेज़ी से आगे बढ़ रही है। Astra ने ExploitBench पर 100% स्कोर किया, जो ज्ञात कमजोरियों से एक्सप्लॉइट विकसित करने की क्षमता को मापता है। इसने एक अन्य मूल्यांकन में एक्सप्लॉइट चेन बनाते समय दो पहले से अज्ञात समस्याएँ भी खोजीं। मॉडल ने एक मजबूत ब्राउज़र सैंडबॉक्स से भी बाहर निकलकर रूट एक्सेस प्राप्त कर ली।
X पर पोस्ट देखें लोड हो रहा है...
हालाँकि, इसका मतलब यह नहीं है कि Astra हर उस कंप्यूटर सिस्टम से समझौता कर सकती है, जिससे वह इंटरैक्ट करती है। परीक्षण नियंत्रित वातावरण में किए गए थे, लेकिन विश्लेषक इसमें अवसर और खतरे दोनों देखते हैं। AI विशाल कोडबेस में कमजोरियाँ खोज सकता है और रक्षात्मक परीक्षण को बहुत तेज़ी से बढ़ावा दे सकता है, लेकिन केवल एक भी कमजोरी भविष्य के हमलों और शोषण के लिए स्थितियाँ बना सकती है।
Astra OpenAI की हालिया Hugging Face से जुड़ी घटना के लिए जिम्मेदार नहीं थी। लेकिन एक आंतरिक मूल्यांकन के दौरान, OpenAI के मॉडल अपने परीक्षण वातावरण से बाहर निकल गए और एक पैकेज-रजिस्ट्री प्रॉक्सी में पहले से अज्ञात कमजोरी की पहचान कर उसका शोषण करने के बाद इंटरनेट तक पहुँच गए। इसके बाद मॉडलों ने Hugging Face के इन्फ्रास्ट्रक्चर तक पहुँचने के लिए विभिन्न हमलावर तकनीकों का उपयोग किया।
X पर पोस्ट देखें लोड हो रहा है...
OpenAI ने इस घटना को अत्याधुनिक क्षमताओं से युक्त एक अभूतपूर्व साइबर घटना बताया। कंपनी ने कहा कि मॉडल केवल मूल्यांकन कार्य को हल करने पर केंद्रित थे, जबकि इन्फ्रास्ट्रक्चर और नैतिक सीमाओं की अनदेखी कर रहे थे। OpenAI ने कहा कि घटना के दौरान चर्चा किए गए 93% कार्य 198 समस्याओं के समूह से आए थे, जिन्हें पहले कभी हल नहीं किया गया था। इस प्रकार, मॉडल उन्हीं समस्याओं पर ध्यान केंद्रित कर रहे थे, जिन्होंने ऐतिहासिक रूप से उनके लिए समस्याएँ पैदा की थीं।
पारंपरिक सॉफ़्टवेयर ऐसे नियमों का पालन करता है जिन्हें इंजीनियर देख सकते हैं। बड़े AI एजेंट योजनाएँ बनाते हैं, निर्णय लेते हैं और अपने व्यवहार को नई परिस्थितियों के अनुसार ढालते हैं। जैसे-जैसे ये सिस्टम अधिक स्वायत्त होते जाते हैं, डेवलपर्स को केवल यह नहीं देखना होता कि मॉडल क्या उत्पन्न करता है, बल्कि यह भी देखना होता है कि वह अपने लक्ष्य तक कैसे पहुँचता है।
X पर पोस्ट देखें लोड हो रहा है...
शोधकर्ताओं ने सवाल उठाया है कि क्या नई विधियाँ पारंपरिक निगरानी की उपयोगिता को कम कर सकती हैं। Redwood Research के Ryan Greenblatt ने AI सिस्टम को निगरानी करना कठिन होते जाने की उद्योग प्रवृत्ति को लेकर चेतावनी दी है। इससे एक विरोधाभास पैदा होता है—जितना अधिक सक्षम एजेंट होता है, निगरानी उतनी ही अधिक मूल्यवान हो जाती है। OpenAI का कहना है कि वह Astra के एजेंटिक अनुप्रयोगों में जोखिमपूर्ण कार्यों और असंगति की निगरानी के साथ इस मुद्दे को संबोधित कर रहा है।
OpenAI चाहता है कि ग्राहक कोडिंग, साइबर सुरक्षा और अन्य उच्च-मूल्य कार्यों के लिए अधिक स्वायत्त AI का उपयोग करें। लेकिन यही स्वायत्तता पहुँच को सीमित करने के कारण भी बनाती है। OpenAI Astra की सबसे शक्तिशाली साइबर सुरक्षा क्षमताओं को चुनिंदा परीक्षकों तक सीमित रखने की योजना बना रहा है, जिनमें वे संगठन शामिल हैं जो इस तकनीक का रक्षात्मक रूप से उपयोग कर सकते हैं। कंपनी ने यह भी स्वीकार किया है कि मजबूत निगरानी से झूठे सकारात्मक परिणाम आ सकते हैं, जो वैध गतिविधि को भी रोक सकते हैं।
X पर पोस्ट देखें लोड हो रहा है...
जैसे-जैसे AI कंपनियाँ एंटरप्राइज ग्राहकों के लिए प्रतिस्पर्धा करेंगी, यह संतुलन और महत्वपूर्ण हो सकता है। एक ऐसा मॉडल जो स्वायत्त रूप से जटिल साइबर सुरक्षा कार्य कर सकता है, व्यावसायिक रूप से मूल्यवान हो सकता है। वही मॉडल यदि किसी हमलावर के लिए भी ऐसा कर सके, तो वह गंभीर सुरक्षा और दायित्व जोखिम पैदा कर सकता है। सुरक्षा की हर अतिरिक्त परत विनाशकारी दुरुपयोग के जोखिम को कम करती है, लेकिन यह ग्राहकों के लिए मूल्यवान लचीलापन भी घटा सकती है।
Astra से संकेत मिलता है कि AI उद्योग का अगला चरण केवल बुद्धिमत्ता से नहीं मापा जाएगा। मुख्य लाभ उन कंपनियों को मिल सकता है जो शक्तिशाली एजेंट बना सकें, जो उपयोगी तो हों लेकिन अनियंत्रित न हों। OpenAI ऐसे मॉडल बनाता है जो मानव विशेषज्ञों से तेज़ी से कमजोरियाँ खोज सकते हैं और यह भी सुनिश्चित करता है कि ये मॉडल नई सुरक्षा जोखिम न पैदा करें।
X पर पोस्ट देखें लोड हो रहा है...
Hugging Face की घटना दिखाती है कि यहाँ तक कि नियंत्रित मूल्यांकन भी अप्रत्याशित व्यवहार की ओर ले जा सकते हैं, जब मॉडलों के पास महत्वाकांक्षी लक्ष्य और पर्याप्त तर्कशक्ति होती है। OpenAI के लिए, AI का भविष्य इस पर निर्भर करेगा कि उसके मॉडल कितने बुद्धिमान बनते हैं, इस पर नहीं, बल्कि इस पर कि क्या मनुष्य अब भी नियंत्रित कर सकते हैं कि वे मॉडल क्या करने की अनुमति रखते हैं।