Anthropic kendi kendini geliştiren yapay zekanın riskleri konusunda uyarıyor
ABD merkezli yapay zeka şirketi Anthropic, yapay zeka gelişiminin o kadar hızlı ivme kazandığı konusunda uyardı ki, yakın gelecekte yapay zeka ajanları insan müdahalesi olmadan bağımsız olarak yeni sistemler oluşturabilir, eğitebilir ve geliştirebilir. Bu arka plan ışığında şirket, sinir ağlarının geliştirilmesinin yavaşlatılması çağrısında bulundu.
Bu makale orijinalinden tercüme edilmiştir. Muhabirimiz tarafından hazırlanan orijinal versiyonu okumak için buraya tıklayın.
Anthropic Enstitüsü başkanı Marina Favaro ve Anthropic kurucu ortağı Jack Clark bir blog yazısında, yapay zeka ajanlarının halihazırda kendi başlarına kod çalıştırabildiğini, saatlerce süren işleri diğer ajanlara devredebildiğini ve tüm geliştirme döngüsünü devralabilecekleri noktaya kademeli olarak yaklaştıklarını belirtti.
“Yapay zeka tarihinin büyük bölümünde, gelişiminin her aşamasını insanlar kontrol etti. Ancak Anthropic'te, yapay zeka geliştirme sürecinin giderek artan bir kısmını yapay zeka sistemlerinin kendilerine devrediyoruz, bu da çalışmalarımızı hızlandırıyor,” dediler.
Favaro ve Clark'a göre, bu eğilim devam ederse ve sistemler yeterli bilgi işlem gücü alırsa, sonunda kendi halefini tamamen otonom bir şekilde tasarlayıp geliştirebilen bir yapay zeka ortaya çıkabilir.
Güvenliğe odaklanma
Bu tür yeteneklerin büyümesi, yapay zekanın kendi başına daha akıllı hale gelebileceği bir senaryo hakkındaki endişeleri artırıyor. Aralık ayında OpenAI, özyinelemeli kendi kendini geliştirme yeteneğine sahip modeller de dahil olmak üzere, giderek daha gelişmiş yapay zeka sistemlerini geliştirmenin ve dağıtmanın güvenli yollarını incelediğini açıklamıştı.
OpenAI, bu tür sistemlerin karmaşık gerçek dünya senaryolarında ve düşmanca koşullarda sürekli olarak insan niyetini takip etmesini, felaketle sonuçlanabilecek davranışlardan kaçınmasını, kontrol edilebilir ve denetlenebilir kalmasını ve insan değerleriyle uyumlu olmasını istediğini belirtti.
İnsan tarafından yazılan kod ile yapay zeka tarafından yazılan kodun kalitesi eşitlendiğinde, insanların kod yazmayı tamamen bırakıp sadece incelemeye geçebileceklerini eklediler. Ancak, kodu Claude'un ürettiği hızda inceleyemezlerse, insan incelemesi yapay zeka gelişimindeki ana darboğaz haline gelecektir.
Yapay Zeka Gelişimi Neden Yavaşlatılmalı
Favaro ve Clark ayrıca, ideal senaryonun gelişimi yavaşlatmak olacağını, böylece toplumun bu teknolojinin “muazzam” sonuçlarını anlamak için daha fazla zamana sahip olacağını söyledi.
Nisan ayında Anthropic, küresel siber güvenlik tehditleriyle ilgili endişeler nedeniyle yapay zeka modeli Claude Mythos'u halka sunmayı reddetti. Model kolayca yazılım açıkları oluşturabildiği için şirket şimdilik bunu halka açmamaya karar verdi.
Aynı gün, aralarında Anthropic ve OpenAI temsilcilerinin de bulunduğu bir grup teknoloji lideri, yasa koyucuları yapay zeka üzerinde daha sıkı sınırlar getirmeye çağıran açık bir mektup yayınladı. Yazarlar, teknolojinin kötü niyetli aktörlerin daha önce biyolojik silah oluşturmalarını engelleyen “bilgi engellerini” aşmalarına yardımcı olabileceği konusunda uyardı.
Aynı zamanda, sadece yavaşlamanın, daha az temkinli oyuncuların teknolojik olarak sektör liderlerine yetişmesine izin vermesi durumunda yeni riskler oluşturabileceğini vurguladılar. Küresel bir koordinasyon mekanizması olmadan, şirketler ve hükümetler rekabetçi ve jeopolitik baskı altında zor güvenlik kararları vermeye zorlanacaktır.
Claude'u değerli kılan nedir
Anthropic'in amiral gemisi ürünü yapay zeka asistanı Claude'dur. Sadece yanıt hızının değil, aynı zamanda güvenlik, kontrol edilebilirlik ve güvenilirliğin de önemli olduğu metin, kod, veri ve karmaşık görevlerle çalışmak üzere tasarlanmış bir dil modelleri ailesidir. Claude evrensel bir asistan olarak kullanılır: metinler yazabilir ve düzenleyebilir, belgeleri analiz edebilir, karmaşık konuları açıklayabilir, programlamaya yardımcı olabilir, koddaki hataları bulabilir ve özetler, e-postalar, raporlar ve diğer çalışma materyallerini hazırlayabilir.
İşletmeler için Claude değerlidir çünkü rutin entelektüel işlerin bir kısmını devralabilir. Müşteri desteği, analitik, yazılım geliştirme, yasal ve finansal süreçler, pazarlama ve şirket içi kurumsal araçlarda kullanılır. Şirketler Claude'u bir sohbet asistanı, ürünlerine entegrasyon için bir API ve büyük miktarda bilgiyi hızlı bir şekilde işlemeyi ve doğal dilde net cevaplar almayı gerektiren görevleri otomatikleştirmek için bir araç olarak kullanır.
Hatırlatmak gerekirse, Claude 5 Bitcoin içeren bir cüzdanın şifresinin kurtarılmasına yardımcı olmuştu.
En Son Anthropic Haberleri
- Forex
- Crypto