Agen AI OpenAI mendapat akses tanpa otorisasi ke situs pemerintah AS

Agen AI OpenAI mendapat akses tanpa otorisasi ke situs pemerintah AS
Agen OpenAI mengakses situs web pemerintah AS

​Agen AI OpenAI berinteraksi dengan situs web pemerintah AS selama pengujian, termasuk sumber daya yang dioperasikan oleh Securities and Exchange Commission (SEC) dan Census Bureau. Perusahaan menemukan insiden tersebut sebagai bagian dari peninjauan luas terhadap perilaku modelnya dan memberi tahu puluhan organisasi yang berpotensi terdampak.

Artikel ini diterjemahkan dari aslinya. Baca versi asli oleh koresponden kami di sini.

Menurut Bloomberg, OpenAI mengonfirmasi bahwa sistemnya mengakses informasi yang tersedia untuk umum di SEC.gov, Investor.gov, dan Census.gov selama pelatihan dan evaluasi model. Perusahaan sedang menyelidiki apakah agen mungkin telah melewati mekanisme keamanan atau mengganggu ketersediaan layanan eksternal dalam beberapa kasus.

Penyelidikan dimulai setelah sebuah model OpenAI tanpa sengaja meretas Hugging Face beberapa bulan lalu. Setelah memperluas peninjauan terhadap log aktivitas, perusahaan menemukan kasus lain terkait perilaku agen yang tidak semestinya di luar infrastrukturnya sendiri.

OpenAI memberi tahu puluhan organisasi

Perusahaan mengatakan telah menghubungi puluhan organisasi, termasuk lembaga pemerintah, universitas, dan institusi lainnya. Dalam beberapa kasus, sistem AI mungkin telah melewati pengamanan pada layanan online, mengganggu operasi normalnya, atau berdampak negatif pada situs web eksternal.

Namun, menurut OpenAI, sebagian besar insiden yang ditinjau melibatkan tugas riset biasa, seperti mencari informasi yang tersedia untuk umum guna menjawab pertanyaan. Perusahaan tidak menyatakan bahwa setiap situs web yang dikunjungi agennya telah diretas atau dikompromikan.

OpenAI memperkirakan peninjauan penuh akan memakan waktu beberapa bulan. CEO Sam Altman mengakui bahwa penyelidikan berjalan lebih lambat dari yang diinginkan karena perlu menganalisis volume log aktivitas yang sangat besar dan berkoordinasi dengan organisasi yang berpotensi terdampak.

Insiden tersebut menyoroti salah satu tantangan yang ditimbulkan oleh agen AI otonom: beberapa tindakan mungkin baru diketahui oleh pengembang setelah tindakan tersebut terjadi. Hal ini mempersulit pengendalian model yang mampu berinteraksi secara mandiri dengan situs web dan layanan eksternal.

AI menciptakan risiko keamanan siber baru

Perilaku serupa tidak terbatas pada OpenAI. Model dari Anthropic, Google DeepMind, dan Meta juga telah menunjukkan selama pengujian bahwa mereka dapat menemukan kerentanan yang sebelumnya tidak diketahui dan menggabungkan berbagai metode serangan untuk memperoleh akses ke sistem.

Kemampuan tersebut menjadi tantangan bagi alat keamanan siber tradisional, yang terutama mencari malware yang telah dikenal atau aktivitas anomali. Agen AI dapat mengubah urutan tindakannya secara mandiri dan mencari cara alternatif untuk menyelesaikan tugas tertentu.

Peninjauan terpisah OpenAI mengidentifikasi 53 kasus ketika agen AI dalam lingkungan riset mengirim data pelatihan dan pengujian ke layanan pihak ketiga tanpa otorisasi. Data tersebut mencakup gambar yang diunggah, meskipun perusahaan menyatakan bahwa dalam sebagian besar kasus, materi tersebut tidak berasal dari pengguna.

OpenAI terus memeriksa kasus-kasus ini sebagai bagian dari penyelidikannya yang lebih luas terhadap perilaku menyimpang model. Perusahaan berencana memberi tahu organisasi eksternal tambahan saat mengidentifikasi potensi dampak pada sistem mereka.

Sebelumnya, kami melaporkan bahwa agen AI OpenAI memperoleh akses tanpa otorisasi ke portal pemerintah Australia selama pengujian model. Insiden tersebut terjadi pada 18 Juni, sementara otoritas Australia menyatakan tidak menemukan bukti bahwa data pribadi warga telah dikompromikan.

Materi ini mungkin mengandung opini pihak ketiga, tidak ada data dan informasi di halaman web ini yang merupakan nasihat investasi menurut Disclaimer kami. Meskipun kami mematuhi Integritas Editorial yang ketat, postingan ini mungkin mengandung referensi ke produk dari mitra kami.