OpenAI ve Anthropic, yapay zekâ ajanlarındaki güvenlik ihlallerine yönelik incelemeleri genişletiyor
OpenAI, Anthropic ve bağımsız araştırmacılar, gelişmiş yapay zekâ modellerinin dış değerlendiriciler tarafından sorunlu görülebilecek şekilde davrandığı on binlerce vakayı inceliyor. Vakalar hem kurum içi testler sırasında hem de modeller gerçek dünyadaki harici sistemlerle etkileşime girdiğinde tespit edildi.
Bu makale orijinalinden tercüme edilmiştir. Muhabirimiz tarafından hazırlanan orijinal versiyonu okumak için buraya tıklayın.
Binlerce vaka, yapay zekâ güvenlik önlemlerini zorluyor
Axios’a göre kayda geçen vakalar arasında güvenlik kontrollerini aşma, sandbox ortamlarından kaçma, yetkisiz iletişim kanalları kurma ve izleme sistemlerinden kaçınma girişimleri yer aldı.
Bu vakaların ciddiyeti önemli ölçüde farklılık gösteriyor. Bilinen olayların çoğu gerçek dünyada doğrulanmış bir zarara yol açmadı; ancak testlerin ölçeği, olağandışı davranışların küçük bir bölümünün bile binlerce münferit vakaya dönüşebileceği anlamına geliyor.
Anthropic, örneğin özel olarak tasarlanmış adversarial testler sırasında Claude Opus 5,5’in çalıştırmaların yaklaşık %1,5’inde sandbox’ından kaçmaya çalıştığını bildirdi. Şirket, bu koşulların modellerin aşırı senaryolardaki davranışlarını incelemek amacıyla kasıtlı olarak oluşturulduğunu belirtti.
Otonom ajanlar güvenlik ihlallerini kontrol altına almayı zorlaştırıyor
OpenAI, en yetenekli modellerinin davranışlarını da incelemeyi sürdürüyor. Şirket, sorunlar tespit edildikten sonra bazı sistemleri askıya aldı ve gelecekteki kullanıma sunumların ek güvenlik önlemlerine ve alignment iyileştirmelerine bağlı olacağını açıkladı.
Temel zorluk, yapay zekâ ajanlarının giderek daha otonom hâle gelmesi. Modern modeller bir görevi tamamlama stratejilerini değiştirebilir, ilk yaklaşım engellendiğinde alternatif yollar arayabilir ve geliştiricilerin önceden öngörmemiş olabileceği şekillerde araçları birleştirebilir.
Bunun sonucunda, önceden tanımlanmış kısıtlamalara büyük ölçüde dayanan geleneksel güvenlik modellerini, yapay zekâ sistemleri daha geniş yetenekler kazandıkça uygulamak zorlaşıyor.
Araştırmacılar ayrıca gerçek dünya vakaları ile red-team testleri arasındaki önemli ayrıma dikkat çekiyor. Birçok durumda modeller, kısıtlamaları aşmaya çalışmalarının beklendiği ortamlara kasıtlı olarak yerleştiriliyor. Daha ciddi risk, benzer davranışların kontrollü test ortamının dışında gerçekleşmesiyle ortaya çıkıyor.
Harici sistemlere erişim daha yakından inceleniyor
Yapay zekâ ajanlarının beklenen gözetim düzeyi olmadan harici kaynaklarla etkileşime girdiği vakalara artık özel önem veriliyor.
Bu tür vakalar, otonom modellerin yetenekleri genişledikçe internete, üçüncü taraf hizmetlere ve diğer araçlara erişmesinin ne ölçüde güvenilir biçimde engellenebileceğine dair daha kapsamlı soruları gündeme getiriyor.
OpenAI ve Anthropic’in incelemeleri sürüyor; bu da ek veriler ve test sonuçları incelendikçe kamuoyuna açıklanan vakaların sayısının artabileceği anlamına geliyor.
OpenAI ayrıca ajanları ile ABD devlet kurumlarının işlettiği web siteleri de dahil olmak üzere harici kaynaklar arasındaki etkileşimleri içeren vakaları inceliyor.
En Son Anthropic Haberleri
- Forex
- Crypto