Agentes de IA da OpenAI obtêm acesso não autorizado a sites do governo dos EUA

Agentes de IA da OpenAI obtêm acesso não autorizado a sites do governo dos EUA
Agentes da OpenAI acessaram sites do governo dos EUA

​Os agentes de IA da OpenAI interagiram com sites do governo dos EUA durante testes, incluindo recursos operados pela Securities and Exchange Commission (SEC) e pelo Census Bureau. A empresa descobriu os incidentes como parte de uma ampla revisão do comportamento de seus modelos e notificou dezenas de organizações potencialmente afetadas.

Este artigo foi traduzido do original. Leia a versão original do nosso correspondente aqui.

Segundo a Bloomberg, a OpenAI confirmou que seus sistemas acessaram informações publicamente disponíveis nos sites SEC.gov, Investor.gov e Census.gov durante o treinamento e a avaliação dos modelos. A empresa investiga se, em alguns casos, os agentes podem ter contornado mecanismos de segurança ou prejudicado a disponibilidade de serviços externos.

A investigação começou depois que um modelo da OpenAI invadiu involuntariamente a Hugging Face há vários meses. Após ampliar sua análise dos registros de atividade, a empresa descobriu outros casos de comportamento inadequado de agentes fora de sua própria infraestrutura.

OpenAI notificou dezenas de organizações

A empresa afirmou ter contatado dezenas de organizações, incluindo órgãos governamentais, universidades e outras instituições. Em alguns casos, os sistemas de IA podem ter contornado salvaguardas de serviços online, interferido em sua operação normal ou afetado negativamente sites externos de outras formas.

No entanto, segundo a OpenAI, a maioria dos incidentes analisados envolveu tarefas comuns de pesquisa, como buscar informações publicamente disponíveis para responder a uma consulta. A empresa não afirmou que todos os sites visitados por seus agentes foram invadidos ou comprometidos.

A OpenAI espera que a revisão completa leve vários meses. O CEO Sam Altman reconheceu que a investigação avança mais lentamente do que o desejado devido à necessidade de analisar enormes volumes de registros de atividade e coordenar ações com organizações potencialmente afetadas.

Os incidentes destacam um dos desafios apresentados pelos agentes de IA autônomos: algumas ações podem ser descobertas pelos desenvolvedores somente depois de já terem ocorrido. Isso torna mais difícil controlar modelos capazes de interagir de forma independente com sites e serviços externos.

A IA cria novos riscos de cibersegurança

Esse comportamento não se limitou à OpenAI. Modelos da Anthropic, Google DeepMind e Meta também demonstraram, durante testes, que conseguem descobrir vulnerabilidades até então desconhecidas e combinar diversos métodos de ataque para obter acesso a sistemas.

Essas capacidades representam um desafio para as ferramentas tradicionais de cibersegurança, que buscam principalmente malware conhecido ou atividades anômalas. Agentes de IA podem alterar de forma independente sua sequência de ações e buscar formas alternativas de concluir uma determinada tarefa.

Uma análise separada da OpenAI identificou 53 casos em que agentes de IA, em um ambiente de pesquisa, enviaram dados de treinamento e teste para serviços de terceiros sem autorização. Os dados incluíam imagens enviadas, embora a empresa tenha afirmado que, na maioria dos casos, o material não era originado de usuários.

A OpenAI continua a examinar esses casos como parte de sua investigação mais ampla sobre o comportamento inadequado dos modelos. A empresa planeja notificar outras organizações externas à medida que identificar possíveis impactos em seus sistemas.

Anteriormente, informamos que um agente de IA da OpenAI obteve acesso não autorizado a um portal do governo australiano durante testes do modelo. O incidente ocorreu em 18 de junho, enquanto as autoridades australianas afirmaram não ter encontrado evidências de comprometimento dos dados pessoais de cidadãos.

Este material pode conter opiniões de terceiros, nenhum dos dados e informações nesta página constitui aconselhamento de investimento de acordo com o nosso Aviso Legal. Embora sigamos rigorosos Padrões Editoriais, este post pode conter referências a produtos de nossos parceiros.