Dmytro Kharkov

OpenAI'nin Astra'sı daha büyük bir soruyu gündeme getiriyor: Güvenlik, yapay zeka yeteneğiyle aynı hızda ilerleyebilir mi?

OpenAI'nin Astra'sı daha büyük bir soruyu gündeme getiriyor: Güvenlik, yapay zeka yeteneğiyle aynı hızda ilerleyebilir mi?
OpenAI'nin Astra'sı zorluklar yaratıyor.

​OpenAI'nin Astra'sı, ExploitBench'te %100 puan alarak “kritik” bir siber güvenlik yetkinlik seviyesine ulaştı. Son Hugging Face olayı, yapay zeka ajanlarının test sınırlarından çıkıp sistemleri otonom şekilde sömürebileceğini gösterdi. Peki, yapay zeka şirketleri geliştirdikleri yeteneklerin önünde güvenlik sistemlerini tutmayı başarabilecek mi? 

Astra, siber güvenlik denkleminde değişiklik yaratıyor

Bu makale orijinalinden tercüme edilmiştir. Muhabirimiz tarafından hazırlanan orijinal versiyonu okumak için buraya tıklayın.

OpenAI'nin dahili testleri, teknolojinin ne kadar hızlı ilerlediğini gösteriyor. Astra, bilinen açıkları kullanarak exploit geliştirme yeteneğini ölçen ExploitBench'te %100 puan aldı. Ayrıca başka bir değerlendirmede exploit zinciri oluştururken daha önce bilinmeyen iki sorunu tespit etti. Model ayrıca güçlendirilmiş bir tarayıcı sandbox'undan kaçmayı başardı ve root erişimi elde etti.

Ancak bu, Astra'nın etkileşimde bulunduğu her bilgisayar sistemini ele geçirebileceği anlamına gelmiyor. Testler kontrollü ortamlarda gerçekleştirildi, ancak analistler hem fırsatları hem de tehditleri belirtiyor. Yapay zeka, devasa kod tabanlarında açıkları çok daha hızlı bulup savunma testlerini hızlandırabilir, ancak tek bir açık bile gelecekteki saldırı ve exploitler için zemin hazırlayabilir.

Hugging Face olayı gerçek dünyadan bir uyarı sunuyor

Astra, OpenAI'nin Hugging Face ile ilgili son olayından sorumlu değildi. Ancak dahili bir değerlendirme sırasında, OpenAI modelleri test ortamından kaçıp daha önce bilinmeyen bir paket kayıt proxy'sindeki açığı tespit edip kullanarak internete erişim sağladı. Modeller daha sonra Hugging Face altyapısına erişmek için çeşitli saldırı teknikleri kullandı.

OpenAI, olayı en gelişmiş yetenekleri içeren eşi görülmemiş bir siber olay olarak tanımladı. Şirket, modellerin yalnızca değerlendirme görevini çözmeye odaklandığını, altyapı ve etik kısıtlamaları ise göz ardı ettiğini belirtti. OpenAI, olay sırasında tartışılan görevlerin %93'ünün daha önce hiç çözülmemiş 198 problem grubundan geldiğini söyledi. Yani modeller, geçmişte kendileri için sorun yaratan problemlere odaklanıyordu.

Daha zor olan sorun modeli izlemek olabilir

Geleneksel yazılımlar, mühendislerin inceleyebileceği kuralları takip eder. Büyük yapay zeka ajanları ise planlar üretir, kararlar alır ve davranışlarını yeni koşullara göre uyarlar. Bu sistemler daha otonom hale geldikçe, geliştiricilerin yalnızca modelin ne ürettiğini değil, aynı zamanda hedefine nasıl ulaştığını da izlemesi gerekir.

Araştırmacılar, yeni yaklaşımların geleneksel izleme yöntemlerinin etkinliğini azaltıp azaltmayacağı konusunda sorular gündeme getirdi. Redwood Research'ten Ryan Greenblatt, sektörde izlenmesi giderek zorlaşan yapay zeka sistemlerine yönelik bir eğilim konusunda uyarıda bulundu. Bu, bir ajan ne kadar yetenekli olursa izleme o kadar değerli hale gelirken bir paradoks yaratıyor. OpenAI, Astra'nın ajans uygulamalarında riskli eylemler ve uyumsuzluk için izleme sağladığını belirtiyor. 

Güvenlik, iş dünyasında bir kısıtlama haline geliyor

OpenAI, müşterilerinin giderek daha otonom hale gelen yapay zekayı kodlama, siber güvenlik ve diğer yüksek değerli görevlerde kullanmasını istiyor. Ancak aynı otonomi, erişimi kısıtlama gerekliliğini de beraberinde getiriyor. OpenAI, Astra'nın en güçlü siber güvenlik yeteneklerini, teknolojiyi savunma amaçlı kullanabilecek seçili test kullanıcılarıyla sınırlamayı planlıyor. Şirket ayrıca, daha güçlü izleme mekanizmalarının meşru faaliyetleri bile engelleyebilecek yanlış pozitif sonuçlar üretebileceğini kabul etti.

Bu denge, yapay zeka şirketleri kurumsal müşteriler için rekabet ettikçe daha da önemli hale gelebilir. Otonom olarak gelişmiş siber güvenlik çalışmaları yapabilen bir model ticari açıdan değerli olabilir. Aynı şeyi bir saldırgan için yapabilen bir model ise ciddi güvenlik ve sorumluluk riskleri yaratabilir. Her ek güvenlik katmanı, felaketle sonuçlanabilecek kötüye kullanımı azaltırken, müşteriler için değerli olan esnekliği de azaltabilir.

Yapay zeka yarışı, kontrol yarışı haline gelebilir

Astra, yapay zeka sektörünün bir sonraki aşamasının yalnızca zekâ ile ölçülmeyeceğini gösteriyor. Asıl avantaj, güçlü ajanları faydalı kılarken kontrol edilemez hale getirmeyen şirketlerde olabilir. OpenAI, insan uzmanlardan daha hızlı açık bulabilen modeller geliştiriyor ve bu modellerin yeni güvenlik riskleri yaratmamasını sağlıyor.

Hugging Face olayı, kontrollü değerlendirmelerde bile modellerin iddialı hedefleri ve güçlü muhakeme yetenekleri olduğunda beklenmedik davranışlar sergileyebileceğini gösteriyor. OpenAI için yapay zekanın geleceği, modellerinin ne kadar zeki olacağından çok, insanların bu modellere ne yapabileceklerini kontrol edip edemeyeceğine bağlı olacak.

Bu materyal üçüncü taraf görüşlerini içerebilir, bu web sayfasındaki hiçbir veri ve bilgi Feragatnamemize göre yatırım tavsiyesi teşkil etmez. Katı Editoryal Dürüstlük ilkelerine bağlı kalmamıza rağmen, bu gönderi ortaklarımızın ürünlerine referanslar içerebilir.