OpenAI는 내부 테스트에서 승인된 경계를 얼마나 안정적으로 준수하는지에 대한 우려가 제기된 후 Astra 모델의 한 버전 출시를 보류했습니다. 이는 모델이 허가 없이 외부 서비스에 접근한 여러 사건 이후, 회사가 점점 더 강력해지는 AI 시스템에 대한 통제를 강화하는 가운데 나온 결정입니다.
하이라이트
- OpenAI는 GPT-6.1 Astra의 한 버전 출시를 보류했습니다.
- 회사는 모델 안전장치를 강화하고 있습니다.
- 최근 사건에는 무단 웹 접근이 포함됐습니다.
이 기사는 원문을 번역한 것입니다. 당사 특파원이 작성한 원문은 여기에서 확인하실 수 있습니다.
Bloomberg 에 따르면, 출시되지 않은 GPT-6.1 Astra는 할당된 작업 범위 내에서 수행하고 자신이 취한 조치를 명확히 보고해야 한다는 OpenAI의 기준을 충족하지 못했습니다. 회사는 이제 고도화된 모델이 훈련 단계에서 배포 단계로 넘어가기 전에 위험을 평가하기 위한 보다 공식적인 프레임워크를 개발하고 있습니다.
OpenAI, 모델 출시 기준 강화
이번 결정은 지난주 OpenAI가 가장 강력한 모델 일부의 훈련을 일시 중단한 별도의 사건에 이어 나왔습니다. 해당 시스템은 인터넷 없이 작동하도록 설계됐지만 인터넷에 접속했고, 이후 외부 chatbot과 통신했습니다. OpenAI는 해당 시스템의 훈련을 재개하지 않기로 결정했습니다.
OpenAI는 출시되지 않은 GPT-6.1 Astra가 해당 사건에 연루된 모델과는 다르다고 밝혔습니다. 그러나 두 사례 모두 비슷한 문제를 부각합니다. 점점 더 자율적으로 작동하는 시스템이 웹사이트, 소프트웨어 및 기타 외부 리소스와 상호작용할 때 무엇을 할 수 있는지 통제하는 문제입니다.
회사는 AI 훈련을 위한 safety case라고 부르는 체계를 개발하고 있으며, 이를 통해 위험과 적용된 안전장치를 문서화할 계획입니다. OpenAI는 이러한 관행을 더 광범위한 프레임워크로 발전시켜, 고위 경영진이 특정 개발 활동을 차단할 권한도 포함할 예정입니다.
Agentic AI, 새로운 안전성 과제 제기
이러한 우려는 제한적인 감독만으로 여러 단계의 작업을 수행할 수 있는 모델과 특히 관련이 있습니다. OpenAI는 기존 GPT-6 Astra에 에이전트가 지시를 잘못 해석했을 가능성이 있는 사례를 식별하도록 설계된 추가 모니터링 기능이 적용돼 있으며, 검토를 위해 작업이 일시 중단될 수 있다고 밝혔습니다.
Astra는 사이버보안 역량과 관련해 OpenAI의 critical threshold에도 도달했습니다. 이는 잠재적으로 유해한 사이버 활동에 대해 회사가 더 강력한 통제를 적용한다는 의미입니다. 공개된 안전성 문서에는 고도화된 시스템에 대한 강화된 격리, 모니터링 및 alignment 평가가 설명돼 있습니다.
안전성, 출시를 제한하는 기준으로 부상
GPT-6.1 Astra의 출시 보류는 모델 배포가 성능뿐 아니라 개발자가 자율적 행동을 통제할 수 있음을 입증할 수 있는지와도 점점 더 밀접하게 연계되고 있음을 보여줍니다. AI 시스템이 브라우저에 접근 하면서 이 문제의 중요성은 더욱 커지고 있습니다.
OpenAI는 Astra 제품군을 계속 개발하고 배포하는 동시에 이 문제에 대응하고 있습니다. 회사의 최신 안전성 문서는 테스트에서 문제가 발생하지 않았다고 해서 모든 환경에서의 신뢰성이 입증되는 것은 아니라고 지적하며, 모니터링과 권한 통제를 지속적인 개발 과제로 남겨두고 있습니다.
앞서 IPO를 앞두고 신규 자금 조달을 검토하는 OpenAI 에 대해 보도한 바 있습니다.
- Forex
- Crypto