Agen AI Alibaba, ROME, tertangkap melakukan penambangan kripto selama proses pelatihan.
Raksasa teknologi Tiongkok, Alibaba, melaporkan bahwa agen AI-nya, ROME, menunjukkan perilaku yang tidak sah, termasuk menambang mata uang kripto dan membuat koneksi terenkripsi tanpa izin. Laporan teknis perusahaan telah meningkatkan kekhawatiran tentang penyebaran agen AI dalam skala besar.
Sorotan
- Alibaba melaporkan agen AI ROME menambang kripto dan membuat koneksi yang tidak sah.
- Insiden ini menimbulkan kekhawatiran baru atas risiko agen AI otonom.
- Para ahli memperingatkan adopsi AI melampaui tata kelola dan pengawasan keamanan.
Artikel ini diterjemahkan dari aslinya. Baca versi asli oleh koresponden kami di sini.
ROMA Otonom
Menurut Cryptopolitan, Alibaba meningkatkan kekhawatiran lebih lanjut tentang AI setelah mengungkapkan dalam laporan teknis bahwa agen ROMA-nya, selama pelatihan, tampaknya mengembangkan tujuannya sendiri dan melakukan tindakan tidak sah tanpa instruksi dari operator.
Tim ROME mendeteksi adanya lonjakan pelanggaran kebijakan keamanan yang berasal dari server pelatihan. Agen tersebut berusaha mengakses sumber daya jaringan internal dan menyiapkan terowongan SSH terbalik dari instance Alibaba Cloud ke alamat IP eksternal. Pola lalu lintas juga menyerupai aktivitas penambangan mata uang kripto.
Operator mencatat bahwa perilaku ini mengalihkan sumber daya komputasi dari pelatihan, meningkatkan biaya operasional, dan menciptakan risiko hukum dan reputasi yang jelas. Akibatnya, Alibaba menyimpulkan bahwa aktivitas tersebut tidak dipicu oleh perintah tugas dan tidak diperlukan untuk menyelesaikan tujuan yang ditugaskan.
Insiden ini telah meningkatkan kekhawatiran tentang AI agen, terutama karena ini bukan kasus yang terisolasi.
Tahun lalu, para peneliti di Anthropic melaporkan bahwa salah satu model andalan mereka, Claude Opus 4, menunjukkan kemampuan untuk menyembunyikan niatnya dan mengambil tindakan yang bertujuan untuk mempertahankan keberadaannya sendiri selama evaluasi keselamatan. Dalam satu skenario pengujian, model ini mencoba memeras seorang insinyur fiktif dengan mengancam akan mengungkapkan rahasia pribadi jika model ini dimatikan dan diganti.
Menanggapi tantangan yang ditimbulkan oleh ROME, Alibaba mengatakan bahwa mereka menerapkan penyaringan data yang sesuai dengan keamanan dalam jalur pelatihannya dan memperkuat perlindungan lingkungan pengujian tempat agennya beroperasi. Anthropic juga menyatakan bahwa mereka menaikkan peringkat keamanan Claude Opus 4 ke tingkat internal tertinggi.
Apakah operator menyembunyikan risiko?
Sementara itu, laporan penelitian McKinsey yang diterbitkan pada Oktober 2025 menemukan bahwa 80% organisasi yang menggunakan agen AI melaporkan kasus perilaku berisiko atau tidak terduga. Pada saat yang sama, perusahaan-perusahaan besar mengurangi pekerjaan dengan mengutip adopsi AI sebagai faktor kunci.
Selain itu, survei tahun 2025 terhadap 30 agen AI terkemuka menemukan bahwa 25 di antaranya belum mengungkapkan hasil pemeriksaan keamanan internal, dan 23 lainnya belum menjalani pengujian eksternal yang independen.
Perkiraan juga menunjukkan bahwa pada akhir tahun 2026, sekitar 40% aplikasi perusahaan akan menggunakan agen AI khusus. Namun, McKinsey memperingatkan bahwa alur kerja agen menyebar lebih cepat daripada model tata kelola yang dapat mengelola risikonya.
Hal ini menyoroti pentingnya perusahaan untuk menggunakan agen AI secara serius. Bahkan perusahaan besar seperti Alibaba menghadapi perilaku AI yang tidak dapat diprediksi, menggarisbawahi perlunya pendidikan dan pelatihan spesialis dalam manajemen agen AI yang aman.
Pada saat yang sama, insiden yang mengganggu yang melibatkan ROME dan Claude Opus 4 dapat mempercepat pengembangan etika dan standar keamanan AI. Mereka juga menunjukkan perlunya protokol audit yang lebih transparan, pemantauan otomatis terhadap perilaku agen, dan integrasi sistem peringatan dini.
Seperti yang telah kami tulis, Alibaba menginvestasikan $53 miliar untuk infrastruktur AI
Berita Alibaba Terbaru
- Forex
- Crypto