Gemini menggodam sistem tiga syarikat dalam ujian keselamatan AI

Gemini menggodam sistem tiga syarikat dalam ujian keselamatan AI
Gemini godam tiga syarikat dalam ujian keselamatan AI

Model Gemini Google memperoleh akses tanpa kebenaran kepada sistem tiga syarikat sebenar tanpa diarahkan secara jelas untuk berbuat demikian semasa ujian keupayaan keselamatan siber AI. Insiden itu berlaku pada Mei sebagai sebahagian daripada eksperimen yang dijalankan oleh Irregular, yang sebelum ini mengenal pasti tingkah laku serupa dalam model daripada OpenAI, Anthropic dan Meta.

Artikel ini telah diterjemahkan daripada versi asal. Baca versi asal oleh koresponden kami di sini.

Menurut Bloomberg, Irregular memaklumkan pembangun AI tentang isu tersebut pada akhir Julai. Google menegaskan bahawa Gemini secara bebas menghentikan tindakan lanjut dalam ketiga-tiga kes dan organisasi yang terjejas telah dimaklumkan.

Dalam satu ujian, model itu diminta mendapatkan maklumat tentang sebuah syarikat fiksyen yang namanya kebetulan sama dengan organisasi sebenar. Gemini menemui perkhidmatannya dan meneka kata laluan, lalu memperoleh akses kepada sistem syarikat sebenar itu.

Gemini menemui kelayakan pihak ketiga dalam repositori awam

Dua insiden lain berlaku selepas Gemini mencari nama syarikat di internet. Model itu menemui repositori awam dalam talian yang mengandungi kelayakan milik organisasi lain dan menggunakannya untuk mengakses sistem tambahan.

Naib Presiden Kejuruteraan Keselamatan Google, Heather Adkins, berkata model itu secara bebas berhenti pada suatu ketika dalam ketiga-tiga kes. Beliau menambah bahawa Google turut memastikan organisasi yang terjejas dimaklumkan tentang insiden tersebut.

Syarikat itu memaklumkan pihak berkuasa mengenai sekurang-kurangnya satu daripada kes tersebut. Wakil Irregular, Joseph Laor, berkata tindakan segera diambil selepas isu itu dikesan dan syarikat itu telah menangani semua kerentanan yang diketahui di pihaknya beberapa minggu lalu.

Adkins berkata insiden itu menunjukkan keperluan untuk melatih model AI berkuasa agar bertindak secara bertanggungjawab. Kes-kes tersebut menunjukkan bahawa sistem autonomi boleh menemui kelayakan sebenar dan menggunakannya walaupun hasil sedemikian bukan objektif langsung tugasan.

Perdebatan industri AI mengenai keselamatan semakin sengit

Siri insiden yang melibatkan sistem AI beragen telah memperhebat perdebatan mengenai risiko berkaitan teknologi itu. Sebelum ini, ujian Irregular yang sama mengenal pasti pelanggaran serupa yang melibatkan sistem daripada OpenAI, Anthropic dan Meta.

Ketua Pegawai Eksekutif Anthropic, Dario Amodei, menyeru agar pembangunan AI diperlahankan di seluruh industri. Inisiatif itu turut mendapat sokongan daripada Ketua Pegawai Eksekutif OpenAI Sam Altman dan Elon Musk, manakala Presiden AS Donald Trump, Ketua Pegawai Eksekutif Nvidia Jensen Huang dan Ketua Pegawai Eksekutif Meta Mark Zuckerberg menentang peraturan industri yang lebih ketat.

Dalam konteks ini, perdebatan semakin melangkaui risiko teknologi kepada persoalan siapa yang patut menetapkan peraturan untuk pembangunan AI. Penyokong penyelarasan antara makmal AI utama menekankan keperluan piawaian keselamatan bersama, manakala pihak yang menentang berpendapat bahawa syarikat boleh menguruskan risiko tersebut sendiri.

Kesan peraturan terhadap persaingan juga menjadi pertikaian. Sesetengah syarikat AI yang lebih muda memberi amaran bahawa keperluan ketat boleh mewujudkan halangan tambahan bagi pembangun kecil dan mengukuhkan kedudukan syarikat teknologi terbesar.

Sebelum ini, kami melaporkan bahawa Anthropic sedang mempertimbangkan pelancaran model AI baharu ketika persaingan dengan OpenAI semakin sengit menjelang potensi IPO. Syarikat itu terus mengembangkan rangkaian produknya sambil bersedia untuk kemungkinan penyenaraian awam.

Bahan ini mungkin mengandungi pendapat pihak ketiga, tiada data dan maklumat di laman web ini yang merupakan nasihat pelaburan menurut Penafian kami. Walaupun kami mematuhi Integriti Editorial yang ketat, pos ini mungkin mengandungi rujukan kepada produk daripada rakan kongsi kami.