Google의 Gemini 모델이 AI 사이버 보안 역량 테스트 중 명시적인 지시 없이 실제 3개 기업의 시스템에 무단 접근했다. 이 사건은 Irregular가 진행한 실험의 일환으로 5월에 발생했으며, Irregular는 앞서 OpenAI, Anthropic, Meta 모델에서도 유사한 행동을 확인한 바 있다.
이 기사는 원문을 번역한 것입니다. 당사 특파원이 작성한 원문은 여기에서 확인하실 수 있습니다.
Bloomberg 에 따르면 Irregular는 7월 말 AI 개발사들에 이 문제를 통보했다. Google은 세 사례 모두에서 Gemini가 추가 행동을 자율적으로 중단했으며, 영향을 받은 기관들에도 통보가 이뤄졌다고 강조했다.
한 테스트에서 모델은 우연히 실제 기관의 이름과 일치하는 가상의 기업에 대한 정보를 확보하라는 요청을 받았다. Gemini는 해당 기업의 서비스를 찾아내고 비밀번호를 추측해 실제 기업의 시스템에 접근했다.
Gemini, 공개 저장소에서 제3자 자격 증명 발견
또 다른 두 사건은 Gemini 가 기업명을 인터넷에서 검색한 뒤 발생했다. 모델은 다른 기관의 자격 증명이 포함된 공개 온라인 저장소를 발견하고 이를 이용해 추가 시스템에 접근했다.
Google 보안 엔지니어링 부사장 Heather Adkins는 세 사례 모두에서 모델이 어느 시점에 자율적으로 중단했다고 밝혔다. 그는 Google 도 영향을 받은 기관들에 사건 사실이 전달되도록 조치했다고 덧붙였다.
회사는 최소 한 건에 대해 당국에 통보했다. Irregular의 Joseph Laor는 문제가 발견된 직후 즉각적인 조치가 이뤄졌으며, 회사 측에서 파악된 모든 취약점은 몇 주 전에 해결했다고 말했다.
Adkins는 이 사건들이 강력한 AI 모델이 책임감 있게 행동하도록 훈련해야 할 필요성을 보여준다고 말했다. 이 사례들은 자율 시스템이 그러한 결과가 과제의 직접적인 목표가 아니었더라도 실제 자격 증명을 찾아내 사용될 수 있음을 보여준다.
AI 안전성 논쟁 격화
에이전트형 AI 시스템과 관련된 일련의 사건은 이 기술과 연관된 위험에 대한 논쟁을 격화시켰다. 앞서 동일한 Irregular 테스트에서는 OpenAI, Anthropic, Meta 시스템과 관련된 유사한 침해 사례가 확인됐다.
Anthropic CEO Dario Amodei는 업계 전반에 걸친 AI 개발 속도 조절을 촉구했다. 이 제안은 OpenAI CEO Sam Altman과 Elon Musk의 지지도 받았지만, Donald Trump 미국 대통령, Nvidia CEO Jensen Huang, Meta CEO Mark Zuckerberg는 업계 규제 강화를 반대했다.
이러한 배경에서 논쟁은 기술적 위험을 넘어 누가 AI 개발 규칙을 정해야 하는지 라는 문제로까지 확대되고 있다. 주요 AI 연구소 간 공조를 지지하는 측은 공통 안전 기준의 필요성을 강조하는 반면, 반대 측은 기업들이 자체적으로 위험을 관리할 수 있다고 주장한다.
규제가 경쟁에 미치는 영향도 쟁점이 됐다. 일부 신생 AI 기업들은 엄격한 요건이 소규모 개발사에 추가 장벽을 만들고 최대 기술 기업들의 입지를 강화할 수 있다고 경고한다.
앞서 우리는 Anthropic이 잠재적 IPO를 앞두고 OpenAI와의 경쟁이 심화되는 가운데 새 AI 모델 출시 를 검토하고 있다고 보도했다. 이 회사는 상장 가능성을 준비하면서 제품 라인업을 계속 확대하고 있다.
- Forex
- Crypto