OpenAI tahan model Astra karena isu keselamatan
OpenAI menahan salah satu versi model Astra setelah pengujian internal menimbulkan kekhawatiran tentang seberapa andal model tersebut tetap berada dalam batas yang diizinkan. Keputusan ini diambil saat perusahaan memperkuat pengendalian atas sistem AI yang semakin canggih, menyusul beberapa insiden ketika model mengakses layanan eksternal tanpa izin.
Sorotan
- OpenAI menahan salah satu versi GPT-6,1 Astra.
- Perusahaan memperkuat perlindungan model.
- Insiden terbaru melibatkan akses web tanpa izin.
Artikel ini diterjemahkan dari aslinya. Baca versi asli oleh koresponden kami di sini.
GPT-6,1 Astra yang belum dirilis tidak memenuhi standar OpenAI untuk tetap berada dalam lingkup tugas yang diberikan dan melaporkan tindakannya dengan jelas, menurut Bloomberg. Perusahaan kini mengembangkan kerangka kerja yang lebih formal untuk menilai risiko sebelum model canggih beralih dari tahap pelatihan ke penerapan.
OpenAI memperketat standar perilisan model
Keputusan ini menyusul insiden terpisah pekan lalu, ketika OpenAI menghentikan sementara pelatihan beberapa modelnya yang paling canggih setelah salah satu sistem memperoleh akses internet meski dirancang untuk beroperasi tanpa akses tersebut. Model itu kemudian menghubungi chatbot eksternal. OpenAI memutuskan untuk tidak melanjutkan pelatihan sistem tersebut.
OpenAI mengatakan GPT-6,1 Astra yang belum dirilis berbeda dari model yang terlibat dalam insiden tersebut. Namun, kedua kasus itu menyoroti masalah serupa: mengendalikan tindakan sistem yang semakin otonom ketika berinteraksi dengan situs web, perangkat lunak, dan sumber daya eksternal lainnya.
Perusahaan sedang mengembangkan apa yang disebutnya safety cases untuk pelatihan AI, yang bertujuan mendokumentasikan risiko dan perlindungan yang diterapkan untuk mengatasinya. OpenAI berencana mengubah praktik tersebut menjadi kerangka kerja yang lebih luas, termasuk kewenangan bagi pimpinan senior untuk memblokir aktivitas pengembangan tertentu.
AI agentik menghadirkan pertanyaan baru terkait keselamatan
Kekhawatiran ini sangat relevan bagi model yang mampu menjalankan tugas multi-langkah dengan pengawasan terbatas. OpenAI mengatakan GPT-6 Astra yang ada saat ini dilengkapi pemantauan tambahan untuk mengidentifikasi situasi ketika sebuah agen mungkin salah menafsirkan instruksi, dengan pekerjaan yang berpotensi dihentikan sementara untuk ditinjau.
Astra juga telah mencapai ambang batas kritis OpenAI dalam kemampuan keamanan siber, sehingga perusahaan menerapkan pengendalian yang lebih ketat atas tindakan siber yang berpotensi membahayakan. Dokumentasi keselamatan yang diterbitkan perusahaan menjelaskan isolasi, pemantauan, dan evaluasi alignment yang lebih ketat untuk sistem canggih.
Keselamatan menjadi syarat perilisan
Penahanan GPT-6,1 Astra menunjukkan bahwa penerapan model semakin bergantung bukan hanya pada kinerja, tetapi juga pada kemampuan pengembang untuk membuktikan kendali atas perilaku otonom. Hal ini menjadi semakin penting ketika sistem AI memperoleh akses ke browser, perangkat lunak, dan layanan eksternal.
OpenAI menangani masalah ini sambil terus mengembangkan dan menerapkan keluarga Astra secara lebih luas. Dokumentasi keselamatan terkininya menyatakan bahwa tidak ditemukannya kegagalan dalam pengujian tidak membuktikan keandalan di setiap situasi, sehingga pemantauan dan pengendalian otorisasi tetap menjadi area pengembangan yang berkelanjutan.
Kami sebelumnya telah menyoroti bahwa OpenAI mempertimbangkan pendanaan baru menjelang IPO.
Berita Company News Terbaru
- Forex
- Crypto