Tweet yazar tarafından silindi.
Ama biz her şeyi kaydettik 🙂.
OpenAI'nin Astra'sı, ExploitBench'te %100 puan alarak “kritik” bir siber güvenlik yetkinlik seviyesine ulaştı. Son Hugging Face olayı, yapay zeka ajanlarının test sınırlarından çıkıp sistemleri otonom şekilde sömürebileceğini gösterdi. Peki, yapay zeka şirketleri geliştirdikleri yeteneklerin önünde güvenlik sistemlerini tutmayı başarabilecek mi?
Bu makale orijinalinden tercüme edilmiştir. Muhabirimiz tarafından hazırlanan orijinal versiyonu okumak için buraya tıklayın.
OpenAI'nin dahili testleri, teknolojinin ne kadar hızlı ilerlediğini gösteriyor. Astra, bilinen açıkları kullanarak exploit geliştirme yeteneğini ölçen ExploitBench'te %100 puan aldı. Ayrıca başka bir değerlendirmede exploit zinciri oluştururken daha önce bilinmeyen iki sorunu tespit etti. Model ayrıca güçlendirilmiş bir tarayıcı sandbox'undan kaçmayı başardı ve root erişimi elde etti.
X'te gönderiyi görüntüle Yükleniyor...
Ancak bu, Astra'nın etkileşimde bulunduğu her bilgisayar sistemini ele geçirebileceği anlamına gelmiyor. Testler kontrollü ortamlarda gerçekleştirildi, ancak analistler hem fırsatları hem de tehditleri belirtiyor. Yapay zeka, devasa kod tabanlarında açıkları çok daha hızlı bulup savunma testlerini hızlandırabilir, ancak tek bir açık bile gelecekteki saldırı ve exploitler için zemin hazırlayabilir.
Astra, OpenAI'nin Hugging Face ile ilgili son olayından sorumlu değildi. Ancak dahili bir değerlendirme sırasında, OpenAI modelleri test ortamından kaçıp daha önce bilinmeyen bir paket kayıt proxy'sindeki açığı tespit edip kullanarak internete erişim sağladı. Modeller daha sonra Hugging Face altyapısına erişmek için çeşitli saldırı teknikleri kullandı.
X'te gönderiyi görüntüle Yükleniyor...
OpenAI, olayı en gelişmiş yetenekleri içeren eşi görülmemiş bir siber olay olarak tanımladı. Şirket, modellerin yalnızca değerlendirme görevini çözmeye odaklandığını, altyapı ve etik kısıtlamaları ise göz ardı ettiğini belirtti. OpenAI, olay sırasında tartışılan görevlerin %93'ünün daha önce hiç çözülmemiş 198 problem grubundan geldiğini söyledi. Yani modeller, geçmişte kendileri için sorun yaratan problemlere odaklanıyordu.
Geleneksel yazılımlar, mühendislerin inceleyebileceği kuralları takip eder. Büyük yapay zeka ajanları ise planlar üretir, kararlar alır ve davranışlarını yeni koşullara göre uyarlar. Bu sistemler daha otonom hale geldikçe, geliştiricilerin yalnızca modelin ne ürettiğini değil, aynı zamanda hedefine nasıl ulaştığını da izlemesi gerekir.
X'te gönderiyi görüntüle Yükleniyor...
Araştırmacılar, yeni yaklaşımların geleneksel izleme yöntemlerinin etkinliğini azaltıp azaltmayacağı konusunda sorular gündeme getirdi. Redwood Research'ten Ryan Greenblatt, sektörde izlenmesi giderek zorlaşan yapay zeka sistemlerine yönelik bir eğilim konusunda uyarıda bulundu. Bu, bir ajan ne kadar yetenekli olursa izleme o kadar değerli hale gelirken bir paradoks yaratıyor. OpenAI, Astra'nın ajans uygulamalarında riskli eylemler ve uyumsuzluk için izleme sağladığını belirtiyor.
OpenAI, müşterilerinin giderek daha otonom hale gelen yapay zekayı kodlama, siber güvenlik ve diğer yüksek değerli görevlerde kullanmasını istiyor. Ancak aynı otonomi, erişimi kısıtlama gerekliliğini de beraberinde getiriyor. OpenAI, Astra'nın en güçlü siber güvenlik yeteneklerini, teknolojiyi savunma amaçlı kullanabilecek seçili test kullanıcılarıyla sınırlamayı planlıyor. Şirket ayrıca, daha güçlü izleme mekanizmalarının meşru faaliyetleri bile engelleyebilecek yanlış pozitif sonuçlar üretebileceğini kabul etti.
X'te gönderiyi görüntüle Yükleniyor...
Bu denge, yapay zeka şirketleri kurumsal müşteriler için rekabet ettikçe daha da önemli hale gelebilir. Otonom olarak gelişmiş siber güvenlik çalışmaları yapabilen bir model ticari açıdan değerli olabilir. Aynı şeyi bir saldırgan için yapabilen bir model ise ciddi güvenlik ve sorumluluk riskleri yaratabilir. Her ek güvenlik katmanı, felaketle sonuçlanabilecek kötüye kullanımı azaltırken, müşteriler için değerli olan esnekliği de azaltabilir.
Astra, yapay zeka sektörünün bir sonraki aşamasının yalnızca zekâ ile ölçülmeyeceğini gösteriyor. Asıl avantaj, güçlü ajanları faydalı kılarken kontrol edilemez hale getirmeyen şirketlerde olabilir. OpenAI, insan uzmanlardan daha hızlı açık bulabilen modeller geliştiriyor ve bu modellerin yeni güvenlik riskleri yaratmamasını sağlıyor.
X'te gönderiyi görüntüle Yükleniyor...
Hugging Face olayı, kontrollü değerlendirmelerde bile modellerin iddialı hedefleri ve güçlü muhakeme yetenekleri olduğunda beklenmedik davranışlar sergileyebileceğini gösteriyor. OpenAI için yapay zekanın geleceği, modellerinin ne kadar zeki olacağından çok, insanların bu modellere ne yapabileceklerini kontrol edip edemeyeceğine bağlı olacak.