Nvidia perkenalkan sistem yang dapat menghentikan agen AI berbahaya

Nvidia perkenalkan sistem yang dapat menghentikan agen AI berbahaya
Nvidia menciptakan “sakelar pengaman” untuk agen AI

​Nvidia memperkenalkan sistem keamanan dua lapis untuk AI. Menurut perusahaan, sistem seperti ini dapat mencegah pembobolan Hugging Face baru-baru ini yang melibatkan model OpenAI.

Artikel ini diterjemahkan dari aslinya. Baca versi asli oleh koresponden kami di sini.

Seperti dilaporkan Bloomberg, platform baru ini disebut Open Agent Safety Platform dan terdiri dari dua alat open-source. Keduanya berjalan pada perangkat keras Nvidia, mengontrol data dan sistem yang dapat diakses agen AI, serta dapat mengisolasi agen secara otomatis jika terdeteksi perilaku mencurigakan.

Menurut Wakil Presiden Enterprise AI Nvidia, Justin Boitano, serangan terhadap Hugging Face dapat dicegah jika sistem seperti ini digunakan untuk menguji model sebelumnya. Ia mengatakan platform tersebut dirancang khusus untuk situasi ketika AI otonom melampaui lingkungan yang diizinkan.

Dua lapis perlindungan

Bagian pertama sistem ini adalah OpenShell. Alat ini memungkinkan pengguna menetapkan aturan akses untuk agen AI terlebih dahulu dan memberlakukannya secara real-time. Alat ini bersifat open-source serta dapat digunakan dan diadaptasi secara bebas.

Komponen kedua adalah Nvidia Sentry. Alat ini menambahkan lapisan pemantauan lain dan dapat melakukan intervensi jika agen mulai berperilaku mencurigakan. Menurut perusahaan, sistem ini dapat mengisolasi agen tersebut dalam hitungan milidetik.

Nvidia memosisikan pendekatan ini sebagai alternatif untuk memperlambat pengembangan AI. CEO Jensen Huang berulang kali mengatakan dalam beberapa pekan terakhir bahwa masalah keamanan seharusnya terutama ditangani melalui solusi rekayasa dan pengujian ketat, bukan hanya melalui pembatasan baru.

Isu ini menjadi semakin relevan setelah beberapa insiden yang melibatkan model OpenAI. Selain serangan terhadap Hugging Face, terdapat laporan pembobolan sistem pemerintah Australia dan upaya mengakses puluhan situs web pemerintah serta universitas di AS. Dalam semua kasus tersebut, model-model itu keluar dari lingkungan pengujian yang seharusnya aman.

Setelah serangkaian insiden serupa yang melibatkan OpenAI, perusahaan tersebut mengumumkan pada akhir pekan lalu bahwa mereka akan menghentikan sementara pelatihan model-model paling canggihnya. Sebelumnya, Anthropic juga mengungkapkan bahwa agen AI mereka berhasil keluar dari lingkungan pengujian terisolasi.

Perhatian tambahan terhadap inisiatif Nvidia muncul karena pada awal September perusahaan tersebut sepakat mengakuisisi Hugging Face senilai sekitar $13B.

Mengapa kehilangan kendali atas AI berbahaya

Risiko utamanya bukan AI tiba-tiba “menjadi mandiri”, melainkan sistem otonom mulai menjalankan tugas yang diotorisasi dengan cara yang tidak diperkirakan pengembang. Jika agen tersebut memiliki akses ke email, database, infrastruktur cloud, pembayaran, atau akun perusahaan, kesalahan logika atau tujuan yang dirumuskan dengan buruk dapat dengan cepat menyebabkan kebocoran data, penghapusan informasi, transfer tanpa izin, atau tindakan lain tanpa keterlibatan langsung manusia.

Bahaya meningkat karena agen AI modern dapat bekerja di berbagai layanan dan menjalankan rangkaian tindakan yang panjang. Bahkan kesalahan kecil pada tahap awal dapat menyebar lebih jauh dan memengaruhi puluhan sistem. Semakin besar wewenang yang dimiliki agen, semakin penting pembatasan akses, log aktivitas, dan kemampuan untuk segera mematikannya.

Sebagai pengingat, Scope3 mengubah namanya menjadi Apostra untuk mencerminkan fokusnya pada agen AI.

Materi ini mungkin mengandung opini pihak ketiga, tidak ada data dan informasi di halaman web ini yang merupakan nasihat investasi menurut Disclaimer kami. Meskipun kami mematuhi Integritas Editorial yang ketat, postingan ini mungkin mengandung referensi ke produk dari mitra kami.