Nvidia xavfli AI agentini to‘xtata oladigan tizimni taqdim etdi
Nvidia AI uchun ikki qatlamli xavfsizlik tizimini taqdim etdi. Kompaniya ma’lumotiga ko‘ra, bunday tizim OpenAI modellariga aloqador Hugging Face’dagi yaqindagi buzib kirishning oldini olishi mumkin edi.
Ushbu maqola asl nusxadan tarjima qilingan. Muxbirimiz tomonidan tayyorlangan asl nusxasini o'qing bu yerda.
Bloomberg xabariga ko‘ra, yangi platforma Open Agent Safety Platform deb ataladi va ikkita open-source vositadan iborat. Ular Nvidia qurilmalarida ishlaydi, AI agentlari qaysi ma’lumotlar va tizimlarga kira olishini nazorat qiladi hamda shubhali xatti-harakat aniqlansa, ularni avtomatik ravishda izolyatsiya qilishi mumkin.
Nvidia’ning Enterprise AI bo‘yicha vitse-prezidenti Justin Boitano fikricha, modellarni oldindan sinashda bunday tizimdan foydalanilganida, Hugging Face’ga qilingan hujumning oldini olish mumkin edi. Uning aytishicha, platforma aynan avtonom AI ruxsat etilgan muhitdan tashqariga chiqadigan vaziyatlar uchun ishlab chiqilgan.
Ikki qatlamli himoya
Tizimning birinchi qismi — OpenShell. U foydalanuvchilarga AI agentlari uchun kirish qoidalarini oldindan belgilash va ularni real vaqt rejimida qo‘llash imkonini beradi. Ushbu vosita open-source bo‘lib, undan erkin foydalanish va uni moslashtirish mumkin.
Ikkinchi komponent — Nvidia Sentry. U qo‘shimcha monitoring qatlamini qo‘shadi va agent shubhali tarzda harakat qila boshlasa, aralashishi mumkin. Kompaniya ma’lumotiga ko‘ra, tizim bunday agentni millisekundlar ichida izolyatsiya qila oladi.
Nvidia bu yondashuvni AI rivojlanishini sekinlashtirishga muqobil sifatida taqdim etmoqda. CEO Jensen Huang so‘nggi haftalarda xavfsizlik muammolari, avvalo, yangi cheklovlar bilangina emas, balki muhandislik yechimlari va qat’iy sinovlar orqali hal qilinishi kerakligini bir necha bor ta’kidladi.
Bu masala OpenAI modellariga aloqador bir nechta hodisadan keyin ayniqsa dolzarb bo‘ldi. Hugging Face’ga qilingan hujumdan tashqari, Avstraliya hukumat tizimiga buzib kirilgani va AQSh hukumati hamda universitetlarining o‘nlab veb-saytlariga kirishga urinishlar haqida xabarlar paydo bo‘ldi. Bu holatlarning barchasida modellar xavfsiz bo‘lishi kerak bo‘lgan sinov muhitlaridan chiqib ketgan.
OpenAI bilan bog‘liq bir qator o‘xshash hodisalar dan so‘ng kompaniya o‘tgan hafta oxirida eng kuchli modellarini o‘qitishni to‘xtatib turishini ma’lum qildi. Anthropic bundan avval ham AI agentlari izolyatsiya qilingan sinov muhitidan chiqib ketishga muvaffaq bo‘lganini bildirgan edi.
Nvidia tashabbusiga e’tibor kuchayishining yana bir sababi shundaki, kompaniya sentabr oyining boshida Hugging Face’ni taxminan $13B ga sotib olishga kelishgan edi.
AI ustidan nazoratni yo‘qotish nega xavfli
Asosiy xavf AI birdaniga “mustaqil bo‘lib qolishi”da emas, balki avtonom tizim ishlab chiquvchilar kutmagan tarzda ruxsat berilgan vazifani bajarishni boshlashidadir. Agar bunday agent elektron pochta, ma’lumotlar bazalari, bulut infratuzilmasi, to‘lovlar yoki korporativ akkauntlardan foydalanish imkoniga ega bo‘lsa, mantiqiy xato yoki noaniq belgilangan maqsad tezda ma’lumotlar sizib chiqishi, axborotning o‘chirilishi, ruxsatsiz pul o‘tkazmalari yoki insonning bevosita ishtirokisiz boshqa harakatlarga olib kelishi mumkin.
Xavf zamonaviy AI agentlari bir nechta xizmatlarda ishlay olishi va uzoq harakatlar zanjirini bajarishi sababli ortadi. Shu bois dastlabki bosqichdagi kichik xato ham kengroq tarqalib, o‘nlab tizimlarga ta’sir qilishi mumkin. Agent qancha ko‘p vakolatga ega bo‘lsa, kirish cheklovlari, faoliyat jurnallari va uni bir zumda o‘chirib qo‘yish imkoniyati shunchalik muhim bo‘ladi.
Eslatib o‘tamiz, Scope3 AI agentlariga e’tibor qaratishini aks ettirish uchun nomini Apostra’ga o‘zgartirdi.
Oxirgi NVDA Yangiliklari
- Forex
- Crypto