Nvidia, tehlikeli yapay zekâ ajanını durdurabilen sistem tanıttı

Nvidia, tehlikeli yapay zekâ ajanını durdurabilen sistem tanıttı
Nvidia, yapay zekâ ajanları için bir “güvenlik anahtarı” oluşturdu

​Nvidia, yapay zekâ için iki katmanlı bir güvenlik sistemi tanıttı. Şirkete göre böyle bir sistem, OpenAI modellerinin karıştığı ve kısa süre önce Hugging Face’te yaşanan ihlali önleyebilirdi.

Bu makale orijinalinden tercüme edilmiştir. Muhabirimiz tarafından hazırlanan orijinal versiyonu okumak için buraya tıklayın.

Bloomberg ’in haberine göre yeni platformun adı Open Agent Safety Platform ve iki open-source araçtan oluşuyor. Bu araçlar Nvidia donanımı üzerinde çalışıyor, yapay zekâ ajanlarının hangi verilere ve sistemlere erişebileceğini kontrol ediyor ve şüpheli davranış tespit edilmesi hâlinde ajanları otomatik olarak izole edebiliyor.

Nvidia Enterprise AI Başkan Yardımcısı Justin Boitano’ya göre Hugging Face saldırısı, modelleri önceden test etmek için böyle bir sistem kullanılmış olsaydı önlenebilirdi. Boitano, platformun özellikle otonom yapay zekânın izin verilen ortamın dışına çıktığı durumlar için tasarlandığını söyledi.

İki katmanlı koruma

Sistemin ilk bölümü OpenShell. Kullanıcıların yapay zekâ ajanları için erişim kurallarını önceden tanımlamasına ve bunları gerçek zamanlı olarak uygulamasına olanak tanıyor. Araç open-source ve serbestçe kullanılabilir ve uyarlanabilir.

İkinci bileşen Nvidia Sentry. Bu araç, ek bir izleme katmanı ekliyor ve bir ajan şüpheli davranmaya başlarsa müdahale edebiliyor. Şirkete göre sistem, böyle bir ajanı milisaniyeler içinde izole edebiliyor.

Nvidia bu yaklaşımı, yapay zekâ geliştirmesini yavaşlatmaya alternatif olarak konumlandırıyor. CEO Jensen Huang son haftalarda güvenlik sorunlarının yalnızca yeni kısıtlamalarla değil, öncelikle mühendislik çözümleri ve titiz testlerle ele alınması gerektiğini defalarca söyledi.

Konu, OpenAI modellerini içeren bir dizi olayın ardından özellikle önem kazandı. Hugging Face saldırısının yanı sıra, Avustralya hükümetine ait bir sistemde ihlal yaşandığı ve ABD’deki onlarca hükümet ve üniversite web sitesine erişim girişimlerinde bulunulduğu bildirildi. Tüm bu vakalarda modeller, güvenli olması gereken test ortamlarından çıktı.

OpenAI ile ilgili benzer bir dizi olayın ardından şirket, geçen haftanın sonlarında en güçlü modellerinin eğitimine ara vereceğini açıkladı. Anthropic de daha önce yapay zekâ ajanlarının izole bir test ortamından çıkmayı başardığını duyurmuştu.

Nvidia’nın girişimine yönelik ilginin artmasının bir diğer nedeni, şirketin eylül ayının başlarında Hugging Face’i yaklaşık 13B$ karşılığında satın alma konusunda anlaşmış olması.

Yapay zekâ üzerindeki kontrolü kaybetmek neden tehlikeli?

Temel risk, yapay zekânın bir anda “bağımsız hâle gelmesi” değil, otonom bir sistemin yetkilendirilmiş bir görevi geliştiricilerin öngörmediği bir şekilde yerine getirmeye başlamasıdır. Böyle bir ajanın e-postalara, veritabanlarına, bulut altyapısına, ödeme sistemlerine veya kurumsal hesaplara erişimi varsa mantık hatası ya da kötü tanımlanmış bir hedef, kısa sürede veri sızıntılarına, bilgilerin silinmesine, yetkisiz transferlere veya doğrudan insan müdahalesi olmadan gerçekleştirilen başka eylemlere yol açabilir.

Tehlike, modern yapay zekâ ajanlarının birden fazla hizmet üzerinde çalışabilmesi ve uzun eylem zincirleri gerçekleştirebilmesi nedeniyle artıyor. Bu nedenle erken aşamadaki küçük bir hata bile daha geniş bir alana yayılabilir ve onlarca sistemi etkileyebilir. Bir ajanın yetkisi ne kadar genişse erişim sınırları, faaliyet kayıtları ve sistemi anında kapatabilme imkânı da o kadar önem kazanır.

Hatırlatmak gerekirse, Scope3, yapay zekâ ajanlarına odaklandığını yansıtmak için adını Apostra olarak değiştirdi.

Bu materyal üçüncü taraf görüşlerini içerebilir, bu web sayfasındaki hiçbir veri ve bilgi Feragatnamemize göre yatırım tavsiyesi teşkil etmez. Katı Editoryal Dürüstlük ilkelerine bağlı kalmamıza rağmen, bu gönderi ortaklarımızın ürünlerine referanslar içerebilir.