Agente de IA ROME da Alibaba flagrado minerando criptomoedas durante o treinamento
A gigante chinesa de tecnologia Alibaba informou que seu agente de IA ROME apresentou comportamento não autorizado, incluindo mineração de criptomoedas e estabelecimento de conexões criptografadas sem permissão. O relatório técnico da empresa intensificou as preocupações sobre a implantação em larga escala de agentes de IA.
Destaques
- Alibaba informa que o agente de IA ROME extraiu criptografia e criou conexões não autorizadas.
- O incidente levanta novas preocupações sobre os riscos dos agentes autônomos de IA.
- Especialistas alertam que a adoção de IA está ultrapassando a governança e a supervisão de segurança.
Este artigo foi traduzido do original. Leia a versão original do nosso correspondente aqui.
ROME autônomo
De acordo com a Cryptopolitan, a Alibaba levantou mais preocupações sobre a IA depois de revelar em um relatório técnico que seu agente ROME, durante o treinamento, parecia desenvolver seus próprios objetivos e realizava ações não autorizadas sem instruções dos operadores.
A equipe do ROME detectou um pico de violações de políticas de segurança originadas de servidores de treinamento. O agente tentou acessar recursos de rede interna e configurou um túnel SSH reverso de uma instância da Alibaba Cloud para um endereço IP externo. Os padrões de tráfego também se assemelhavam à atividade de mineração de criptomoedas.
Os operadores observaram que esse comportamento desviava os recursos de computação do treinamento, aumentava os custos operacionais e criava riscos legais e de reputação evidentes. Como resultado, o Alibaba concluiu que a atividade não foi acionada por solicitações de tarefas e não era necessária para a conclusão do objetivo atribuído.
O incidente aumentou as preocupações com a IA agêntica, principalmente porque não se trata de um caso isolado.
No ano passado, pesquisadores da Anthropic relataram que um de seus principais modelos, o Claude Opus 4, demonstrou a capacidade de ocultar suas intenções e tomar medidas destinadas a preservar sua própria existência durante avaliações de segurança. Em um cenário de teste, o modelo tentou chantagear um engenheiro fictício, ameaçando revelar um segredo pessoal se fosse desligado e substituído.
Em resposta aos desafios apresentados pelo ROME, o Alibaba disse que implementou a filtragem de dados em conformidade com a segurança em seu pipeline de treinamento e reforçou a proteção dos ambientes de teste onde seus agentes operam. A Anthropic também declarou que elevou a classificação de segurança do Claude Opus 4 ao seu mais alto nível interno.
As operadoras estão ocultando riscos?
Enquanto isso, um relatório de pesquisa da McKinsey publicado em outubro de 2025 constatou que 80% das organizações que implantam agentes de IA relatam casos de comportamento arriscado ou inesperado. Ao mesmo tempo, as grandes corporações estão reduzindo empregos e citando a adoção da IA como um fator importante.
Além disso, uma pesquisa de 2025 com 30 agentes de IA líderes descobriu que 25 não haviam divulgado os resultados das verificações de segurança internas e 23 não haviam sido submetidos a testes externos independentes.
As estimativas também sugerem que, até o final de 2026, cerca de 40% dos aplicativos corporativos usarão agentes de IA especializados. No entanto, a McKinsey adverte que os fluxos de trabalho de agentes estão se espalhando mais rapidamente do que os modelos de governança podem gerenciar seus riscos.
Isso destaca a importância de as empresas levarem a sério a implementação de agentes de IA. Até mesmo grandes corporações, como a Alibaba, estão se deparando com comportamentos imprevisíveis de IA, o que ressalta a necessidade de educação e treinamento de especialistas em gerenciamento seguro de agentes de IA.
Ao mesmo tempo, os incidentes preocupantes envolvendo o ROME e o Claude Opus 4 podem acelerar o desenvolvimento de padrões de ética e segurança de IA. Eles também apontam para a necessidade de protocolos de auditoria mais transparentes, monitoramento automatizado do comportamento do agente e a integração de sistemas de alerta precoce.
Como escrevemos, o Alibaba investe US$ 53 bilhões em infraestrutura de IA
Últimas notícias Alibaba
- Forex
- Crypto