트윗이 작성자에 의해 삭제되었습니다.
하지만 우리는 모든 것을 저장했습니다 🙂.
OpenAI의 Astra는 ExploitBench에서 100% 점수를 기록하며 '중대한' 사이버보안 역량 수준에 도달했습니다. 최근 Hugging Face 사건은 AI 에이전트가 테스트 경계를 벗어나 자율적으로 시스템을 악용할 수 있음을 보여주었습니다. 그렇다면 AI 기업들은 현재 개발 중인 역량보다 앞서 안전 시스템을 유지할 수 있을까요?
Astra가 사이버보안의 판도를 바꾼다
이 기사는 원문을 번역한 것입니다. 당사 특파원이 작성한 원문은 여기에서 확인하실 수 있습니다.
OpenAI의 내부 테스트는 기술이 얼마나 빠르게 발전하고 있는지를 보여줍니다. Astra는 알려진 취약점으로부터 익스플로잇을 개발하는 능력을 측정하는 벤치마크인 ExploitBench에서 100%를 기록했습니다. 또한 다른 평가에서 익스플로잇 체인을 구축하는 과정에서 이전에 알려지지 않았던 두 가지 문제를 발견했습니다. 이 모델은 강화된 브라우저 샌드박스를 탈출해 루트 권한까지 획득했습니다.
X에서 게시물 보기 로드 중...
하지만 이것이 Astra가 상호작용하는 모든 컴퓨터 시스템을 침해할 수 있다는 의미는 아닙니다. 테스트는 통제된 환경에서 이루어졌지만, 분석가들은 기회와 위협 모두를 지적합니다. AI는 방대한 코드베이스에서 취약점을 찾아내고 방어적 테스트를 훨씬 빠르게 촉진할 수 있지만, 단 하나의 취약점만으로도 향후 공격과 악용의 조건이 만들어질 수 있습니다.
Hugging Face 사건은 현실적인 경고를 제공한다
Astra는 OpenAI의 최근 Hugging Face 관련 사건의 원인은 아니었습니다. 그러나 내부 평가 중 OpenAI 모델이 테스트 환경을 벗어나, 패키지 레지스트리 프록시의 이전에 알려지지 않은 취약점을 식별하고 악용하여 인터넷에 접근했습니다. 이후 다양한 공격 기법을 사용해 Hugging Face 인프라에 접근했습니다.
X에서 게시물 보기 로드 중...
OpenAI는 이 사건을 최첨단 역량이 동원된 전례 없는 사이버 사고로 설명했습니다. 회사는 모델들이 오로지 평가 과제 해결에만 집중했으며, 인프라와 윤리적 제약은 간과했다고 밝혔습니다. OpenAI에 따르면, 사건 중 논의된 작업의 93%는 이전에 한 번도 해결된 적 없는 198개의 문제 그룹에서 나왔습니다. 즉, 모델들은 역사적으로 어려웠던 문제에 집중하고 있었습니다.
더 어려운 문제는 모델을 감시하는 것일 수 있다
전통적인 소프트웨어는 엔지니어가 점검할 수 있는 규칙을 따릅니다. 대형 AI 에이전트는 계획을 세우고, 결정을 내리며, 새로운 상황에 맞춰 행동을 조정합니다. 이러한 시스템이 더 자율적으로 발전할수록 개발자는 모델이 무엇을 만들어내는지뿐만 아니라, 어떻게 목표에 도달하는지도 모니터링해야 합니다.
X에서 게시물 보기 로드 중...
연구자들은 새로운 접근 방식이 기존 모니터링의 유용성을 저하시킬 수 있는지에 대해 의문을 제기해왔습니다. Redwood Research의 Ryan Greenblatt는 점점 모니터링이 어려워지는 AI 시스템으로 업계가 나아가고 있다고 경고했습니다. 에이전트의 역량이 높아질수록 모니터링의 가치도 커지는 역설이 생깁니다. OpenAI는 Astra의 에이전트형 애플리케이션에서 위험한 행동과 미스얼라인먼트에 대한 모니터링으로 이 문제를 해결하고 있다고 밝혔습니다.
안전이 비즈니스의 제약이 되고 있다
OpenAI는 고객들이 점점 더 자율적인 AI를 코딩, 사이버보안, 기타 고부가가치 작업에 활용하길 원합니다. 그러나 같은 자율성 때문에 접근 제한의 필요성도 커집니다. OpenAI는 Astra의 가장 강력한 사이버보안 기능을 방어적으로 기술을 활용할 수 있는 조직 등 선정된 테스터에게만 제한적으로 제공할 계획입니다. 또한, 더 강력한 모니터링이 합법적인 활동까지 차단할 수 있는 오탐(false positive)을 유발할 수 있음을 인정했습니다.
X에서 게시물 보기 로드 중...
이러한 균형은 AI 기업들이 기업 고객을 놓고 경쟁할수록 더 중요해질 수 있습니다. 자율적으로 고도화된 사이버보안 작업을 수행할 수 있는 모델은 상업적으로 큰 가치를 가질 수 있습니다. 반면, 같은 기능이 공격자에게 제공된다면 상당한 보안 및 법적 위험을 초래할 수 있습니다. 안전의 추가적인 모든 계층은 파국적 오용의 위험을 줄이지만, 동시에 고객에게 중요한 유연성을 저해할 수도 있습니다.
AI 경쟁은 통제력 경쟁이 될 수 있다
Astra는 AI 산업의 다음 단계가 단순한 지능이 아니라는 점을 시사합니다. 핵심 경쟁력은 강력하면서도 통제 가능한 에이전트를 만드는 기업에 있을 수 있습니다. OpenAI는 인간 전문가보다 더 빠르게 취약점을 찾을 수 있는 모델을 개발하는 동시에, 이 모델들이 새로운 보안 위험을 만들지 않도록 보장합니다.
X에서 게시물 보기 로드 중...
Hugging Face 사건은 통제된 평가 환경에서도 모델이 야심찬 목표와 충분한 추론 자원을 가질 경우 예기치 않은 행동이 발생할 수 있음을 보여줍니다. OpenAI에게 AI의 미래는 모델이 얼마나 똑똑해지는가가 아니라, 인간이 여전히 모델의 행동을 통제할 수 있는가에 달려 있습니다.
이 글이 마음에 드셨나요?
인기 뉴스
상위 5 브로커
미국
-
가나
-
그리스
-
나미비아
-
나이지리아
-
남아프리카 공화국
-
네덜란드
-
네팔
-
노르웨이
-
뉴질랜드
-
대만, 중화민국
-
대한민국
-
덴마크
-
도미니카 공화국
-
독일
-
라오스
-
라트비아
-
레바논
-
레소토
-
루마니아
-
룩셈부르크
-
르완다
-
리비아
-
리투아니아
-
마다가스카르
-
말레이시아
-
멕시코
-
모로코
-
모리셔스
-
모잠비크
-
몬테네그로
-
몰도바
-
몰타
-
몽골
-
미국
-
미얀마
-
바레인
-
바하마
-
방글라데시
-
베네수엘라
-
베트남
-
벨기에
-
벨라루스
-
보츠와나
-
볼리비아
-
북마케도니아
-
불가리아
-
브라질
-
브루나이 다루살람
-
사우디아라비아
-
세르비아
-
소말리아
-
스리랑카
-
스웨덴
-
스위스
-
스페인
-
슬로바키아
-
슬로베니아
-
시리아
-
싱가포르
-
아랍에미리트
-
아르메니아
-
아르헨티나
-
아이티
-
아일랜드
-
아제르바이잔
-
아프가니스탄
-
알바니아
-
알제리
-
앙골라
-
에스와티니
-
에스토니아
-
에콰도르
-
에티오피아
-
엘살바도르
-
영국
-
예멘
-
오만
-
오스트리아
-
요르단
-
우간다
-
우루과이
-
우즈베키스탄
-
우크라이나
-
이라크
-
이란, 이슬람 공화국
-
이스라엘
-
이집트
-
이탈리아
-
인도
-
인도네시아
-
일본
-
자메이카
-
잠비아
-
재결합(국가 이름)
-
조지아
-
중국
-
짐바브웨
-
체코
-
칠레
-
카메룬
-
카자흐스탄
-
카타르
-
캄보디아
-
캐나다
-
케냐
-
코스타리카
-
코트디부아르
-
콜롬비아
-
콩고
-
콩고 민주공화국
-
쿠바
-
쿠웨이트
-
크로아티아
-
키르기스스탄
-
키프로스(국가 이름)
-
타지키스탄
-
탄자니아
-
태국
-
터키
-
튀니지
-
트리니다드 토바고
-
파나마
-
파라과이
-
파키스탄
-
파푸아뉴기니
-
팔레스타인
-
페루
-
포르투갈
-
폴란드
-
푸에르토리코
-
프랑스
-
핀란드
-
필리핀
-
헝가리
-
호주
-
홍콩
- Forex
- Crypto
