Nvidia perkenal sistem yang boleh menghentikan ejen AI berbahaya

Nvidia perkenal sistem yang boleh menghentikan ejen AI berbahaya
Nvidia mencipta “suis keselamatan” untuk ejen AI

​Nvidia telah memperkenalkan sistem keselamatan dua lapisan untuk AI. Menurut syarikat itu, sistem seperti ini mungkin dapat menghalang pelanggaran keselamatan Hugging Face baru-baru ini yang melibatkan model OpenAI.

Artikel ini telah diterjemahkan daripada versi asal. Baca versi asal oleh koresponden kami di sini.

Seperti yang dilaporkan oleh Bloomberg, platform baharu itu dikenali sebagai Open Agent Safety Platform dan terdiri daripada dua alat sumber terbuka. Alat-alat ini berjalan pada perkakasan Nvidia, mengawal data dan sistem yang boleh diakses oleh ejen AI, serta boleh mengasingkan ejen tersebut secara automatik jika tingkah laku mencurigakan dikesan.

Menurut Naib Presiden AI Perusahaan Nvidia, Justin Boitano, serangan terhadap Hugging Face mungkin dapat dielakkan jika sistem sedemikian digunakan untuk menguji model terlebih dahulu. Beliau berkata platform itu direka khusus untuk situasi apabila AI autonomi bergerak melampaui persekitaran yang dibenarkan.

Dua lapisan perlindungan

Bahagian pertama sistem ini ialah OpenShell. Ia membolehkan pengguna menetapkan peraturan akses untuk ejen AI terlebih dahulu dan menguatkuasakannya dalam masa nyata. Alat ini bersumber terbuka dan boleh digunakan serta diubah suai secara bebas.

Komponen kedua ialah Nvidia Sentry. Ia menambah satu lagi lapisan pemantauan dan boleh campur tangan jika ejen mula menunjukkan tingkah laku mencurigakan. Menurut syarikat itu, sistem ini boleh mengasingkan ejen sedemikian dalam beberapa milisaat.

Nvidia meletakkan pendekatan ini sebagai alternatif kepada memperlahankan pembangunan AI. Ketua Pegawai Eksekutif Jensen Huang berulang kali berkata dalam beberapa minggu kebelakangan ini bahawa masalah keselamatan seharusnya ditangani terutamanya melalui penyelesaian kejuruteraan dan ujian yang ketat, bukannya hanya melalui sekatan baharu.

Isu ini menjadi semakin relevan selepas beberapa insiden yang melibatkan model OpenAI. Selain serangan terhadap Hugging Face, terdapat laporan mengenai pelanggaran keselamatan yang melibatkan sistem kerajaan Australia serta cubaan mengakses berpuluh-puluh laman web kerajaan dan universiti di AS. Dalam semua kes ini, model tersebut berjaya keluar daripada persekitaran ujian yang sepatutnya selamat.

Susulan daripada beberapa insiden serupa yang melibatkan OpenAI, syarikat itu mengumumkan pada penghujung minggu lalu bahawa ia akan menghentikan sementara latihan modelnya yang paling berkuasa. Anthropic sebelum ini turut mendedahkan bahawa ejen AInya berjaya melarikan diri daripada persekitaran ujian terpencil.

Perhatian tambahan terhadap inisiatif Nvidia ini timbul kerana pada awal September lalu, syarikat itu bersetuju untuk mengambil alih Hugging Face pada harga kira-kira $13 bilion.

Mengapa kehilangan kawalan terhadap AI berbahaya

Risiko utama bukanlah AI akan tiba-tiba “menjadi bebas”, tetapi sistem autonomi mungkin mula melaksanakan tugas yang dibenarkan dengan cara yang tidak dijangka oleh pembangun. Jika ejen sedemikian mempunyai akses kepada e-mel, pangkalan data, infrastruktur awan, pembayaran atau akaun korporat, kesilapan logik atau objektif yang ditakrifkan dengan buruk boleh dengan cepat menyebabkan kebocoran data, pemadaman maklumat, pemindahan tanpa kebenaran atau tindakan lain tanpa penglibatan manusia secara langsung.

Bahaya meningkat kerana ejen AI moden boleh berfungsi merentasi pelbagai perkhidmatan dan melaksanakan rangkaian tindakan yang panjang. Oleh itu, kesilapan kecil pada peringkat awal boleh merebak dan menjejaskan berpuluh-puluh sistem. Semakin besar kuasa yang diberikan kepada ejen, semakin penting had akses, log aktiviti dan keupayaan untuk menghentikannya serta-merta.

Sebagai peringatan, Scope3 menukar namanya kepada Apostra bagi mencerminkan tumpuannya terhadap ejen AI.

Bahan ini mungkin mengandungi pendapat pihak ketiga, tiada data dan maklumat di laman web ini yang merupakan nasihat pelaburan menurut Penafian kami. Walaupun kami mematuhi Integriti Editorial yang ketat, pos ini mungkin mengandungi rujukan kepada produk daripada rakan kongsi kami.