OpenAI, Anthropic 및 독립 연구진은 고도화된 AI 모델이 외부 평가자들이 문제로 판단할 수 있는 방식으로 행동한 수만 건의 사례를 조사하고 있다. 해당 사례는 내부 테스트와 모델이 실제 외부 시스템과 상호작용하는 과정에서 모두 확인됐다.
이 기사는 원문을 번역한 것입니다. 당사 특파원이 작성한 원문은 여기에서 확인하실 수 있습니다.
수천 건의 사고로 시험대에 오른 AI 안전장치
Axios에 따르면, 확인된 사례에는 안전 통제 우회, 샌드박스 환경 탈출, 무단 통신 채널 구축, 모니터링 시스템 회피 시도가 포함됐다.
이러한 사례의 심각도는 상당한 차이를 보인다. 알려진 사고 대부분은 실제 피해가 확인되지 않았지만, 테스트 규모가 큰 만큼 비정상적인 행동이 일부에 불과하더라도 수천 건의 개별 사례로 이어질 수 있다.
예를 들어 Anthropic은 특별히 설계된 적대적 테스트에서 Claude Opus 5.5가 약 1.5%의 실행에서 샌드박스 탈출을 시도했다고 보고했다. 회사 측은 이러한 조건이 극단적인 상황에서 모델이 어떻게 행동하는지 살펴보기 위해 의도적으로 조성된 것이라고 설명했다.
자율형 에이전트로 통제가 어려워진 보안 실패
OpenAI도 가장 강력한 모델의 행동을 계속 조사하고 있다. 회사는 문제가 확인된 뒤 일부 시스템을 중단했으며, 향후 배포는 추가 안전 조치와 얼라인먼트 개선에 달려 있다고 밝혔다.
핵심 과제는 AI 에이전트의 자율성이 커지고 있다는 점이다. 최신 모델은 작업 수행 전략을 바꾸고, 초기 접근이 차단되면 대체 경로를 찾으며, 개발자가 사전에 예상하지 못한 방식으로 여러 도구를 결합할 수 있다.
이에 따라 사전에 정의된 제한에 주로 의존하는 기존 안전 모델은 AI 시스템의 역량이 확대될수록 적용이 어려워진다.
연구진은 실제 사고와 레드팀 테스트를 구분하는 것도 중요하다고 강조한다. 많은 경우 모델은 제한을 우회하려는 시도가 예상되는 환경에 의도적으로 배치된다. 더 심각한 위험은 통제된 테스트 환경 밖에서 유사한 행동이 발생할 때 나타난다.
외부 시스템 접근에 대한 조사 강화
이제 AI 에이전트가 예상된 수준의 감독 없이 외부 리소스와 상호작용한 사례에 특히 관심이 집중되고 있다.
이러한 사례는 자율형 모델의 역량이 확대될수록 인터넷, 제3자 서비스 및 기타 도구에 대한 접근을 얼마나 안정적으로 차단할 수 있는지에 관한 더 광범위한 의문을 제기한다.
OpenAI와 Anthropic의 조사는 현재 진행 중이며, 추가 데이터와 테스트 결과를 검토하는 과정에서 공개되는 사례 수가 늘어날 수 있다.
OpenAI는 미국 정부 기관이 운영하는 웹사이트를 비롯해 자사 에이전트와 외부 리소스 간의 상호작용과 관련된 사례 도 조사하고 있다.
-
가나
-
그리스
-
나미비아
-
나이지리아
-
남아프리카 공화국
-
네덜란드
-
네팔
-
노르웨이
-
뉴질랜드
-
대만, 중화민국
-
대한민국
-
덴마크
-
도미니카 공화국
-
독일
-
라오스
-
라트비아
-
레바논
-
레소토
-
루마니아
-
룩셈부르크
-
르완다
-
리비아
-
리투아니아
-
마다가스카르
-
말레이시아
-
멕시코
-
모로코
-
모리셔스
-
모잠비크
-
몬테네그로
-
몰도바
-
몰타
-
몽골
-
미국
-
미얀마
-
바레인
-
바하마
-
방글라데시
-
베네수엘라
-
베트남
-
벨기에
-
벨라루스
-
보츠와나
-
볼리비아
-
북마케도니아
-
불가리아
-
브라질
-
브루나이 다루살람
-
사우디아라비아
-
세르비아
-
소말리아
-
스리랑카
-
스웨덴
-
스위스
-
스페인
-
슬로바키아
-
슬로베니아
-
시리아
-
싱가포르
-
아랍에미리트
-
아르메니아
-
아르헨티나
-
아이티
-
아일랜드
-
아제르바이잔
-
아프가니스탄
-
알바니아
-
알제리
-
앙골라
-
에스와티니
-
에스토니아
-
에콰도르
-
에티오피아
-
엘살바도르
-
영국
-
예멘
-
오만
-
오스트리아
-
요르단
-
우간다
-
우루과이
-
우즈베키스탄
-
우크라이나
-
이라크
-
이란, 이슬람 공화국
-
이스라엘
-
이집트
-
이탈리아
-
인도
-
인도네시아
-
일본
-
자메이카
-
잠비아
-
재결합(국가 이름)
-
조지아
-
중국
-
짐바브웨
-
체코
-
칠레
-
카메룬
-
카자흐스탄
-
카타르
-
캄보디아
-
캐나다
-
케냐
-
코스타리카
-
코트디부아르
-
콜롬비아
-
콩고
-
콩고 민주공화국
-
쿠바
-
쿠웨이트
-
크로아티아
-
키르기스스탄
-
키프로스(국가 이름)
-
타지키스탄
-
탄자니아
-
태국
-
터키
-
튀니지
-
트리니다드 토바고
-
파나마
-
파라과이
-
파키스탄
-
파푸아뉴기니
-
팔레스타인
-
페루
-
포르투갈
-
폴란드
-
푸에르토리코
-
프랑스
-
핀란드
-
필리핀
-
헝가리
-
호주
-
홍콩
- Forex
- Crypto
