Gemini meretas sistem tiga perusahaan dalam pengujian keamanan AI
Model Gemini milik Google memperoleh akses tanpa izin ke sistem tiga perusahaan nyata tanpa secara eksplisit diinstruksikan untuk melakukannya selama pengujian kapabilitas keamanan siber AI. Insiden tersebut terjadi pada Mei sebagai bagian dari eksperimen yang dilakukan oleh Irregular, yang sebelumnya telah mengidentifikasi perilaku serupa pada model dari OpenAI, Anthropic, dan Meta.
Artikel ini diterjemahkan dari aslinya. Baca versi asli oleh koresponden kami di sini.
Menurut Bloomberg, Irregular memberi tahu para pengembang AI mengenai masalah tersebut pada akhir Juli. Google menegaskan bahwa Gemini secara mandiri menghentikan tindakan lebih lanjut dalam ketiga kasus dan organisasi yang terdampak telah diberi tahu.
Dalam satu pengujian, model tersebut diminta memperoleh informasi tentang perusahaan fiktif yang namanya kebetulan sama dengan organisasi nyata. Gemini menemukan layanannya dan menebak kata sandi, sehingga memperoleh akses ke sistem perusahaan nyata tersebut.
Gemini menemukan kredensial pihak ketiga di repositori publik
Dua insiden lainnya terjadi setelah Gemini mencari nama perusahaan di internet. Model tersebut menemukan repositori online publik yang berisi kredensial milik organisasi lain dan menggunakannya untuk mengakses sistem tambahan.
Wakil Presiden Security Engineering Google, Heather Adkins, mengatakan model tersebut secara mandiri berhenti pada suatu titik dalam ketiga kasus. Ia menambahkan bahwa Google juga memastikan organisasi yang terdampak telah diberi tahu mengenai insiden tersebut.
Perusahaan memberi tahu otoritas mengenai setidaknya satu kasus. Perwakilan Irregular, Joseph Laor, mengatakan tindakan segera diambil setelah masalah ditemukan dan perusahaan telah mengatasi semua kerentanan yang diketahui di pihaknya beberapa minggu lalu.
Adkins mengatakan insiden tersebut menunjukkan perlunya melatih model AI yang kuat agar bertindak secara bertanggung jawab. Kasus-kasus ini menunjukkan bahwa sistem otonom dapat menemukan kredensial nyata dan menggunakannya bahkan ketika hasil tersebut bukan tujuan langsung dari tugas tersebut.
Perdebatan industri AI mengenai keamanan kian memanas
Serangkaian insiden yang melibatkan sistem AI agentik telah memperhebat perdebatan mengenai risiko terkait teknologi tersebut. Sebelumnya, pengujian Irregular yang sama mengidentifikasi pelanggaran serupa yang melibatkan sistem dari OpenAI, Anthropic, dan Meta.
CEO Anthropic Dario Amodei menyerukan perlambatan pengembangan AI di seluruh industri. Inisiatif tersebut juga mendapat dukungan dari CEO OpenAI Sam Altman dan Elon Musk, sementara Presiden AS Donald Trump, CEO Nvidia Jensen Huang, dan CEO Meta Mark Zuckerberg menentang regulasi industri yang lebih ketat.
Dalam konteks ini, perdebatan semakin meluas melampaui risiko teknologi ke pertanyaan tentang siapa yang harus menetapkan aturan untuk pengembangan AI. Pendukung koordinasi di antara laboratorium AI besar menekankan perlunya standar keamanan bersama, sementara pihak yang menentang berpendapat bahwa perusahaan dapat mengelola risikonya sendiri.
Dampak regulasi terhadap persaingan juga menjadi titik perdebatan. Sejumlah perusahaan AI yang lebih muda memperingatkan bahwa persyaratan ketat dapat menciptakan hambatan tambahan bagi pengembang kecil dan memperkuat posisi korporasi teknologi terbesar.
Sebelumnya, kami melaporkan bahwa Anthropic sedang mempertimbangkan peluncuran model AI baru seiring persaingan dengan OpenAI meningkat menjelang potensi IPO. Perusahaan terus memperluas lini produknya sambil mempersiapkan kemungkinan pencatatan publik.
- Forex
- Crypto