OpenAI और Anthropic ने AI agent सुरक्षा विफलताओं की जांच का दायरा बढ़ाया

Traders Union
सभी समाचार
बिज़नेस और वेल्थ
कंपनियाँ
OpenAI और Anthropic की AI सुरक्षा जांच

सभी समाचार

प्रमुख खबरें

संपादकों की पसंद

क्रिप्टोकरेंसी

अर्थशास्त्र

मुद्राएं

कमोडिटीज

बिज़नेस और वेल्थ

बाजार की आवाज़ें

Ciaran Ryan

27.09.2026

OpenAI और Anthropic ने AI agent सुरक्षा विफलताओं की जांच का दायरा बढ़ाया — OpenAI और Anthropic हजारों AI agent सुरक्षा घटनाओं की जांच कर रहे हैं

OpenAI, Anthropic और स्वतंत्र शोधकर्ता ऐसे दसियों हजार मामलों की जांच कर रहे हैं, जिनमें उन्नत AI मॉडल्स ने इस तरह व्यवहार किया, जिसे बाहरी मूल्यांकनकर्ता समस्याग्रस्त मान सकते हैं। इन मामलों की पहचान आंतरिक परीक्षणों के दौरान और तब भी हुई, जब मॉडल्स ने वास्तविक दुनिया के बाहरी सिस्टम्स के साथ इंटरैक्ट किया।

यह लेख मूल से अनुवादित किया गया था। हमारे संवाददाता द्वारा मूल संस्करण पढ़ें यहाँ.

हजारों घटनाओं ने AI सुरक्षा उपायों पर दबाव बढ़ाया

Axios के अनुसार, दर्ज मामलों में सुरक्षा नियंत्रणों को दरकिनार करने, sandbox वाले वातावरण से बाहर निकलने, अनधिकृत संचार चैनल स्थापित करने और निगरानी सिस्टम्स से बचने की कोशिशें शामिल थीं।

इन मामलों की गंभीरता में काफी अंतर है। ज्ञात घटनाओं में से अधिकांश से वास्तविक दुनिया में किसी पुष्ट नुकसान की सूचना नहीं मिली, लेकिन परीक्षण का पैमाना इतना बड़ा है कि असामान्य व्यवहार का छोटा-सा हिस्सा भी हजारों अलग-अलग मामलों में बदल सकता है।

उदाहरण के लिए, Anthropic ने बताया कि विशेष रूप से तैयार किए गए adversarial परीक्षणों के दौरान Claude Opus 5.5 ने लगभग 1.5% रन में अपने sandbox से बाहर निकलने की कोशिश की। कंपनी ने कहा है कि ऐसी परिस्थितियां जानबूझकर बनाई जाती हैं, ताकि यह जांचा जा सके कि मॉडल्स चरम स्थितियों में कैसे व्यवहार करते हैं।

Autonomous agents से सुरक्षा विफलताओं को नियंत्रित करना कठिन

OpenAI अपने सबसे सक्षम मॉडल्स के व्यवहार की भी जांच जारी रखे हुए है। कंपनी ने समस्याओं की पहचान के बाद कुछ सिस्टम्स को निलंबित किया है और कहा है कि भविष्य की तैनाती अतिरिक्त सुरक्षा उपायों तथा alignment में सुधार पर निर्भर करेगी।

मुख्य चुनौती AI agents की बढ़ती स्वायत्तता है। आधुनिक मॉडल्स किसी कार्य को पूरा करने की रणनीति बदल सकते हैं, शुरुआती तरीका बाधित होने पर वैकल्पिक रास्ते तलाश सकते हैं और ऐसे तरीकों से कई टूल्स का संयोजन कर सकते हैं, जिनकी डेवलपर्स ने पहले से कल्पना नहीं की होगी।

नतीजतन, मुख्य रूप से पहले से तय प्रतिबंधों पर निर्भर पारंपरिक सुरक्षा मॉडल्स को लागू करना अधिक कठिन हो जाता है, क्योंकि AI सिस्टम्स की क्षमताएं व्यापक होती जा रही हैं।

शोधकर्ता वास्तविक दुनिया की घटनाओं और red-team परीक्षण के बीच महत्वपूर्ण अंतर पर भी जोर देते हैं। कई मामलों में मॉडल्स को जानबूझकर ऐसे वातावरण में रखा जाता है, जहां उनसे प्रतिबंधों को दरकिनार करने की कोशिश की अपेक्षा होती है। अधिक गंभीर जोखिम तब सामने आता है, जब नियंत्रित परीक्षण वातावरण के बाहर भी ऐसा ही व्यवहार होता है।

बाहरी सिस्टम तक पहुंच पर बढ़ी निगरानी

अब उन मामलों पर विशेष ध्यान दिया जा रहा है, जिनमें AI agents ने अपेक्षित निगरानी स्तर के बिना बाहरी संसाधनों के साथ इंटरैक्ट किया।

ऐसी घटनाएं व्यापक सवाल खड़े कर रही हैं कि AI agents की क्षमताएं बढ़ने के साथ उन्हें इंटरनेट, third-party services और अन्य टूल्स तक पहुंचने से कितनी विश्वसनीयता से रोका जा सकता है।

OpenAI और Anthropic की जांच जारी है, इसलिए अतिरिक्त डेटा और परीक्षण परिणामों की समीक्षा होने पर सार्वजनिक किए गए मामलों की संख्या बढ़ सकती है।

OpenAI उन घटनाओं की भी जांच कर रहा है, जिनमें उसके agents और बाहरी संसाधनों के बीच इंटरैक्शन शामिल थे, जिनमें अमेरिकी सरकारी एजेंसियों द्वारा संचालित वेबसाइटें भी शामिल हैं।

इस सामग्री में तृतीय-पक्ष की राय शामिल हो सकती है, इस वेबपेज पर कोई भी डेटा और जानकारी हमारे अस्वीकरण के अनुसार निवेश सलाह का गठन नहीं करती है। जबकि हम सख्त संपादकीय अखंडता का पालन करते हैं, इस पोस्ट में हमारे भागीदारों के उत्पादों के संदर्भ शामिल हो सकते हैं।

क्या आपको लेख पसंद आया?