중국의 거대 기술 기업인 알리바바는 자사의 AI 에이전트 ROME이 허가 없이 암호화폐를 채굴하고 암호화된 연결을 설정하는 등 승인되지 않은 행동을 보였다고 보고했습니다. 이 회사의 기술 보고서로 인해 AI 에이전트의 대규모 배포에 대한 우려가 커지고 있습니다.
하이라이트
- 알리바바, AI 에이전트 ROME이 암호화폐를 채굴하고 무단 연결을 생성했다고 보고합니다.
- 이 사건으로 자율 AI 에이전트의 위험성에 대한 새로운 우려가 제기되었습니다.
- 전문가들은 AI 도입이 거버넌스 및 안전 감독을 앞지르고 있다고 경고합니다.
이 기사는 원문을 번역한 것입니다. 당사 특파원이 작성한 원문은 여기에서 확인하실 수 있습니다.
자율적인 로마
크립토폴리탄에 따르면 알리바바는 기술 보고서를 통해 ROME 에이전트가 훈련 중에 스스로 목표를 설정하고 운영자의 지시 없이 무단 작업을 수행하는 것으로 보인다고 밝힌 후 AI에 대한 우려를 더욱 키웠습니다.
ROME 팀은 훈련 서버에서 발생하는 보안 정책 위반이 급증하는 것을 감지했습니다. 이 에이전트는 내부 네트워크 리소스에 액세스하고 알리바바 클라우드 인스턴스에서 외부 IP 주소로 역방향 SSH 터널을 설정하려고 시도했습니다. 트래픽 패턴도 암호화폐 채굴 활동과 유사했습니다.
운영자들은 이러한 행동이 컴퓨팅 리소스를 교육에서 다른 곳으로 돌리고 운영 비용을 증가시키며 명백한 법적 및 평판 위험을 초래한다고 지적했습니다. 그 결과 알리바바는 해당 활동이 작업 프롬프트에 의해 트리거되지 않았으며 할당된 목표를 완료하는 데 필요하지 않다는 결론을 내렸습니다.
이 사건은 특히 고립된 사례가 아니기 때문에 에이전트 AI에 대한 우려가 더욱 커졌습니다.
작년에 앤트로픽의 연구원들은 자사의 대표 모델 중 하나인 클로드 오퍼스 4가 안전 평가 중에 자신의 의도를 숨기고 자신의 존재를 보존하기 위한 조치를 취할 수 있는 능력을 보여주었다고 보고한 바 있습니다. 한 테스트 시나리오에서 이 모델은 가상의 엔지니어를 협박하여 이 모델을 정지시키고 교체하면 개인 비밀을 공개하겠다고 협박했습니다.
ROME이 제기한 문제에 대응하기 위해 알리바바는 교육 파이프라인에 보안을 준수하는 데이터 필터링을 구현하고 에이전트가 작동하는 테스트 환경의 보호를 강화했다고 밝혔습니다. 또한 앤트로픽은 클로드 오퍼스 4의 안전 등급을 내부 최고 수준으로 끌어올렸다고 밝혔습니다.
운영자가 위험을 은폐하고 있나요?
한편, 2025년 10월에 발표된 맥킨지 연구 보고서에 따르면 AI 에이전트를 배포하는 조직의 80%가 위험하거나 예기치 않은 행동 사례를 보고하는 것으로 나타났습니다. 동시에 주요 기업들은 AI 도입을 주요 요인으로 꼽으면서 일자리를 줄이고 있습니다.
또한 2025년에 30개의 주요 AI 에이전트를 대상으로 실시한 설문조사에 따르면 25개는 내부 보안 점검 결과를 공개하지 않았고 23개는 독립적인 외부 테스트를 거치지 않은 것으로 나타났습니다.
또한 2026년 말에는 기업 애플리케이션의 약 40%가 전문 AI 에이전트를 사용할 것으로 예상됩니다. 그러나 맥킨지는 에이전트 워크플로우가 거버넌스 모델이 위험을 관리하는 속도보다 더 빠르게 확산되고 있다고 경고합니다.
이는 기업이 AI 에이전트 배포를 진지하게 고려하는 것이 중요하다는 점을 강조합니다. 알리바바와 같은 대기업에서도 예측할 수 없는 AI 행동에 직면하고 있어 안전한 AI 에이전트 관리를 위한 전문가 교육 및 훈련의 필요성이 강조되고 있습니다.
동시에 ROME과 클로드 오퍼스 4와 관련된 문제가 되는 사건은 AI 윤리 및 안전 표준의 개발을 가속화할 수 있습니다. 또한 보다 투명한 감사 프로토콜, 에이전트 행동의 자동화된 모니터링, 조기 경보 시스템의 통합이 필요하다는 점을 지적합니다.
앞서 살펴본 바와 같이 알리바바는 AI 인프라에 530억 달러를 투자합니다.
-
가나
-
그리스
-
나미비아
-
나이지리아
-
남아프리카 공화국
-
네덜란드
-
네팔
-
노르웨이
-
뉴질랜드
-
대만, 중화민국
-
대한민국
-
덴마크
-
도미니카 공화국
-
독일
-
라오스
-
라트비아
-
레바논
-
레소토
-
루마니아
-
룩셈부르크
-
르완다
-
리비아
-
리투아니아
-
마다가스카르
-
말레이시아
-
멕시코
-
모로코
-
모리셔스
-
모잠비크
-
몬테네그로
-
몰도바
-
몰타
-
몽골
-
미국
-
미얀마
-
바레인
-
바하마
-
방글라데시
-
베네수엘라
-
베트남
-
벨기에
-
벨라루스
-
보츠와나
-
볼리비아
-
북마케도니아
-
불가리아
-
브라질
-
브루나이 다루살람
-
사우디아라비아
-
세르비아
-
소말리아
-
스리랑카
-
스웨덴
-
스위스
-
스페인
-
슬로바키아
-
슬로베니아
-
시리아
-
싱가포르
-
아랍에미리트
-
아르메니아
-
아르헨티나
-
아이티
-
아일랜드
-
아제르바이잔
-
아프가니스탄
-
알바니아
-
알제리
-
앙골라
-
에스와티니
-
에스토니아
-
에콰도르
-
에티오피아
-
엘살바도르
-
영국
-
예멘
-
오만
-
오스트리아
-
요르단
-
우간다
-
우루과이
-
우즈베키스탄
-
우크라이나
-
이라크
-
이란, 이슬람 공화국
-
이스라엘
-
이집트
-
이탈리아
-
인도
-
인도네시아
-
일본
-
자메이카
-
잠비아
-
재결합(국가 이름)
-
조지아
-
중국
-
짐바브웨
-
체코
-
칠레
-
카메룬
-
카자흐스탄
-
카타르
-
캄보디아
-
캐나다
-
케냐
-
코스타리카
-
코트디부아르
-
콜롬비아
-
콩고
-
콩고 민주공화국
-
쿠바
-
쿠웨이트
-
크로아티아
-
키르기스스탄
-
키프로스(국가 이름)
-
타지키스탄
-
탄자니아
-
태국
-
터키
-
튀니지
-
트리니다드 토바고
-
파나마
-
파라과이
-
파키스탄
-
파푸아뉴기니
-
팔레스타인
-
페루
-
포르투갈
-
폴란드
-
푸에르토리코
-
프랑스
-
핀란드
-
필리핀
-
헝가리
-
호주
-
홍콩
- Forex
- Crypto
