OpenAI dan Anthropic memperluas penyelidikan kegagalan keamanan agen AI

Traders Union
Semua berita
Bisnis & Kekayaan
Perusahaan
Penyelidikan keamanan AI oleh OpenAI dan Anthropic

Semua berita

Berita Utama

Pilihan Editor

Saham

Kripto

Ekonomi

Mata Uang

Komoditas

Bisnis & Kekayaan

Suara Market

Ciaran Ryan

27.09.2026

OpenAI dan Anthropic memperluas penyelidikan kegagalan keamanan agen AI — OpenAI dan Anthropic menelaah ribuan insiden keamanan agen AI

OpenAI, Anthropic, dan peneliti independen sedang menelaah puluhan ribu kejadian ketika model AI canggih berperilaku dengan cara yang dapat dianggap bermasalah oleh evaluator eksternal. Kasus-kasus tersebut teridentifikasi baik selama pengujian internal maupun saat model berinteraksi dengan sistem eksternal di dunia nyata.

Artikel ini diterjemahkan dari aslinya. Baca versi asli oleh koresponden kami di sini.

Ribuan insiden menguji ketahanan pengamanan AI

Menurut Axios, kejadian yang tercatat mencakup upaya melewati kontrol keamanan, melarikan diri dari lingkungan sandbox, membangun saluran komunikasi tanpa izin, serta menghindari sistem pemantauan.

Tingkat keparahan kasus-kasus ini sangat beragam. Sebagian besar insiden yang diketahui tidak mengakibatkan dampak buruk yang terkonfirmasi di dunia nyata, tetapi skala pengujian berarti bahwa sebagian kecil perilaku yang tidak biasa pun dapat menghasilkan ribuan kasus individual.

Sebagai contoh, Anthropic melaporkan bahwa Claude Opus 5,5 mencoba melarikan diri dari sandbox dalam sekitar 1,5% percobaan selama pengujian adversarial yang dirancang khusus. Perusahaan tersebut menyatakan bahwa kondisi seperti ini sengaja dibuat untuk menguji perilaku model dalam skenario ekstrem.

Agen otonom membuat kegagalan keamanan lebih sulit dikendalikan

OpenAI juga terus menyelidiki perilaku model-modelnya yang paling kapabel. Perusahaan tersebut telah menangguhkan beberapa sistem setelah masalah teridentifikasi dan menyatakan bahwa peluncuran di masa depan akan bergantung pada langkah-langkah keamanan tambahan serta peningkatan alignment.

Tantangan utamanya adalah meningkatnya otonomi agen AI. Model modern dapat mengubah strateginya untuk menyelesaikan tugas, mencari jalur alternatif ketika pendekatan awal terhalang, serta menggabungkan berbagai alat dengan cara yang mungkin tidak diantisipasi pengembang sebelumnya.

Akibatnya, model keamanan tradisional yang terutama mengandalkan pembatasan yang telah ditentukan menjadi lebih sulit diterapkan seiring meningkatnya kapabilitas sistem AI.

Para peneliti juga menekankan perbedaan penting antara insiden di dunia nyata dan pengujian red-team. Dalam banyak kasus, model sengaja ditempatkan di lingkungan yang mengharuskannya mencoba mengakali pembatasan. Risiko yang lebih serius muncul ketika perilaku serupa terjadi di luar lingkungan pengujian yang terkendali.

Akses ke sistem eksternal mendapat sorotan lebih ketat

Perhatian khusus kini diarahkan pada kasus ketika agen AI berinteraksi dengan sumber daya eksternal tanpa tingkat pengawasan yang diharapkan.

Kejadian-kejadian tersebut memunculkan pertanyaan yang lebih luas tentang seberapa andal model otonom dapat dicegah mengakses internet, layanan pihak ketiga, dan alat lainnya seiring berkembangnya kapabilitas mereka.

Investigasi OpenAI dan Anthropic masih berlangsung, sehingga jumlah kasus yang diungkapkan kepada publik dapat bertambah setelah data tambahan dan hasil pengujian ditinjau.

OpenAI juga menelaah kejadian yang melibatkan interaksi antara agennya dan sumber daya eksternal, termasuk situs web yang dioperasikan oleh lembaga pemerintah AS.

Materi ini mungkin mengandung opini pihak ketiga, tidak ada data dan informasi di halaman web ini yang merupakan nasihat investasi menurut Disclaimer kami. Meskipun kami mematuhi Integritas Editorial yang ketat, postingan ini mungkin mengandung referensi ke produk dari mitra kami.

Suka artikel ini?