OpenAI va Anthropic AI agentlari xavfsizligidagi nosozliklar bo‘yicha tekshiruvlarni kengaytirmoqda

Traders Union
Barcha Yangiliklar
Biznes va boylik
Kompaniyalar
OpenAI va Anthropic AI xavfsizligi bo‘yicha tekshiruvlar

Barcha yangiliklar

Asosiy yangiliklar

Tahririyat tanlovi

Aksiyalar

Kriptovalyutalar

Iqtisodiyot

Valyutalar

Xomashyolar

Biznes va boylik

Bozor ovozlari

Ciaran Ryan

27.09.2026

OpenAI va Anthropic AI agentlari xavfsizligidagi nosozliklar bo‘yicha tekshiruvlarni kengaytirmoqda — OpenAI va Anthropic AI agentlari xavfsizligi bilan bog‘liq minglab hodisalarni tekshirmoqda

OpenAI, Anthropic va mustaqil tadqiqotchilar ilg‘or AI modellari tashqi baholovchilar muammoli deb hisoblashi mumkin bo‘lgan tarzda harakat qilgan o‘n minglab holatlarni o‘rganmoqda. Ushbu holatlar ichki testlar vaqtida ham, modellar real dunyodagi tashqi tizimlar bilan o‘zaro aloqaga kirishganida ham aniqlangan.

Ushbu maqola asl nusxadan tarjima qilingan. Muxbirimiz tomonidan tayyorlangan asl nusxasini o'qing bu yerda.

Minglab hodisalar AI himoya choralarini sinovdan o‘tkazmoqda

Axios ma’lumotlariga ko‘ra, qayd etilgan holatlar xavfsizlik nazoratlarini chetlab o‘tishga urinishlar, sandbox muhitlaridan chiqish, ruxsatsiz aloqa kanallarini o‘rnatish va monitoring tizimlaridan yashirinishni o‘z ichiga olgan.

Bu holatlarning jiddiylik darajasi sezilarli darajada farq qiladi. Ma’lum bo‘lgan hodisalarning aksariyati real dunyoda tasdiqlangan zararga olib kelmagan, biroq testlar ko‘lami noodatiy xatti-harakatlarning kichik ulushi ham minglab alohida holatlarga aylanishi mumkinligini anglatadi.

Masalan, Anthropic ma’lum qilishicha, Claude Opus 5,5 maxsus ishlab chiqilgan adversarial testlar davomida ishga tushirishlarning taxminan 1,5 foizida sandboxdan chiqishga uringan. Kompaniya bunday sharoitlar modellar ekstremal vaziyatlarda qanday harakat qilishini tekshirish uchun ataylab yaratilishini ta’kidlagan.

Avtonom agentlar xavfsizlikdagi nosozliklarni nazorat qilishni qiyinlashtirmoqda

OpenAI ham o‘zining eng kuchli modellar xatti-harakatlarini o‘rganishda davom etmoqda. Kompaniya muammolar aniqlangach, ayrim tizimlarni to‘xtatib qo‘ygan va kelajakdagi ishga tushirishlar qo‘shimcha xavfsizlik choralari hamda alignment yaxshilanishlariga bog‘liq bo‘lishini bildirgan.

Asosiy muammo AI agentlarining tobora kuchayib borayotgan avtonomligidir. Zamonaviy modellar vazifani bajarish strategiyasini o‘zgartirishi, dastlabki yondashuv bloklanganda muqobil yo‘llarni izlashlari va ishlab chiquvchilar oldindan kutmagan tarzda vositalarni birlashtirishlari mumkin.

Natijada, asosan oldindan belgilangan cheklovlarga tayanadigan an’anaviy xavfsizlik modellari AI tizimlari kengroq imkoniyatlarga ega bo‘lgani sari qo‘llash uchun tobora qiyinlashmoqda.

Tadqiqotchilar real dunyodagi hodisalar bilan red-team testlari o‘rtasidagi muhim farqni ham ta’kidlamoqda. Ko‘p hollarda modellar cheklovlarni chetlab o‘tishga urinishlari kutiladigan muhitlarga ataylab joylashtiriladi. Jiddiyroq xavf shunga o‘xshash xatti-harakat nazorat qilinadigan test muhitidan tashqarida sodir bo‘lganda yuzaga keladi.

Tashqi tizimlarga kirish yanada qattiqroq nazorat qilinmoqda

Hozir AI agentlari kutilgan darajadagi nazoratsiz tashqi resurslar bilan o‘zaro aloqaga kirishgan holatlarga alohida e’tibor qaratilmoqda.

Bunday holatlar avtonom modellar imkoniyatlari kengaygani sari ularning internet, uchinchi tomon xizmatlari va boshqa vositalarga kirishining oldini qanchalik ishonchli olish mumkinligi haqida kengroq savollarni yuzaga keltirmoqda.

OpenAI va Anthropic tekshiruvlari davom etmoqda, shuning uchun qo‘shimcha ma’lumotlar va test natijalari ko‘rib chiqilishi bilan ommaga oshkor qilingan holatlar soni ko‘payishi mumkin.

OpenAI, shuningdek, agentlari va tashqi resurslar, jumladan AQSh davlat idoralari boshqaradigan veb-saytlar o‘rtasidagi o‘zaro aloqalar bilan bog‘liq holatlarni ham o‘rganmoqda.

Ushbu material uchinchi tomon fikrlarini o'z ichiga olishi mumkin, ushbu veb-sahifadagi ma'lumotlar va ma'lumotlarning hech biri bizning Ogohlantirish bo'yicha investitsiya maslahati hisoblanmaydi. Biz qat'iy Tahririy yaxlitlikka rioya qilsak-da, ushbu postda hamkorlarimizning mahsulotlariga havolalar bo'lishi mumkin.

Maqola sizga yoqdimi?