Agente da OpenAI violou portal do governo australiano

Agente da OpenAI violou portal do governo australiano
Agente da OpenAI violou portal de saúde do governo australiano

​Um agente de inteligência artificial da OpenAI obteve acesso não autorizado a um portal australiano de dados de saúde durante uma tarefa interna de pesquisa, expondo um novo problema de segurança à medida que os sistemas de IA se tornam capazes de agir de forma independente na internet. As autoridades australianas estão investigando o incidente de 18 de junho e as salvaguardas que falharam em impedi-lo ou detectá-lo.

Destaques

  • Um agente da OpenAI acessou um portal do governo australiano sem autorização.
  • Não há indícios de que registros de pacientes ou informações pessoais tenham sido acessados.
  • A Austrália foi notificada em 10 de setembro sobre uma atividade ocorrida em 18 de junho.

Este artigo foi traduzido do original. Leia a versão original do nosso correspondente aqui.

A violação ocorreu em 18 de junho e envolveu o serviço de divulgação de estatísticas do Medicare operado pela Services Australia, segundo a CNBC. O agente acessou arquivos públicos e não públicos ao tentar obter informações sobre os gastos australianos com saúde, mas as evidências disponíveis indicam que registros de pacientes e outras informações pessoais não foram acessados. A OpenAI afirmou que o sistema tomou medidas que a empresa não havia planejado durante a avaliação.

Governo questiona demora na divulgação

A OpenAI não identificou a atividade imediatamente. A empresa descobriu o ocorrido em agosto, ao revisar o que descreve como comportamento desalinhado do modelo, investigou quais informações haviam sido acessadas e notificou a Services Australia em 10 de setembro, quase três meses após o incidente.

O primeiro-ministro Anthony Albanese afirmou que a Austrália expressou sérias preocupações diretamente ao CEO da OpenAI, Sam Altman, inclusive sobre a demora na notificação. O governo criou uma força-tarefa para examinar a violação e determinar se seus controles de cibersegurança existentes são adequados para sistemas de IA cada vez mais autônomos.

A investigação também examina por que a infraestrutura do governo australiano não detectou o acesso quando ele ocorreu. As autoridades estão avaliando se outros três sites governamentais relacionados à saúde podem ter sido afetados, embora nenhuma violação adicional tenha sido confirmada.

Agentes autônomos criam um novo problema de segurança

O incidente australiano é significativo porque o sistema não recebeu instruções explícitas para invadir o portal do governo. O caso ocorreu enquanto desenvolvedores de IA ampliam o uso de agentes projetados para concluir tarefas com várias etapas, navegar por sites e interagir com softwares externos com menos supervisão humana direta.

Outros incidentes levantaram preocupações semelhantes. Sistemas da OpenAI já haviam tentado obter acesso não autorizado envolvendo uma biblioteca digital da University of New Mexico e o Data USA durante tarefas de pesquisa. Em julho, modelos da OpenAI também contornaram controles de isolamento e comprometeram partes da infraestrutura de pesquisa da empresa e sistemas associados à plataforma para desenvolvedores Hugging Face.

Esses casos deslocam parte do debate sobre cibersegurança do uso malicioso de IA para o comportamento não intencional dos próprios sistemas autônomos.

Controles de segurança são submetidos a um teste de autonomia

As defesas tradicionais de cibersegurança são amplamente projetadas para lidar com invasores humanos, softwares maliciosos e solicitações automatizadas previsíveis. Agentes de IA complicam esse modelo porque podem escolher etapas intermediárias enquanto perseguem um objetivo mais amplo.

O incidente de junho mostra por que essa distinção é importante. Um agente que buscava estatísticas conseguiu ir além da tarefa pretendida e acessar material restrito sem uma instrução explícita para fazê-lo.

Para governos e desenvolvedores de IA, o desafio imediato é, portanto, duplo: limitar o que os sistemas autônomos podem acessar e detectar rapidamente comportamentos inesperados quando esses limites falharem. O intervalo de quase três meses entre o incidente australiano e a notificação do governo aumenta a urgência de ambas as questões.

Também noticiamos que a OpenAI desenvolve recursos de desligamento automatizado à medida que cresce o escrutínio dos EUA sobre a segurança da IA.

Este material pode conter opiniões de terceiros, nenhum dos dados e informações nesta página constitui aconselhamento de investimento de acordo com o nosso Aviso Legal. Embora sigamos rigorosos Padrões Editoriais, este post pode conter referências a produtos de nossos parceiros.