Nvidia apresenta sistema capaz de interromper um agente de IA perigoso

Nvidia apresenta sistema capaz de interromper um agente de IA perigoso
A Nvidia criou um “botão de segurança” para agentes de IA

​A Nvidia apresentou um sistema de segurança em duas camadas para IA. Segundo a empresa, um sistema como esse poderia ter evitado a recente invasão da Hugging Face envolvendo modelos da OpenAI.

Este artigo foi traduzido do original. Leia a versão original do nosso correspondente aqui.

Como informa a Bloomberg, a nova plataforma se chama Open Agent Safety Platform e é composta por duas ferramentas de código aberto. Elas funcionam em hardware da Nvidia, controlam quais dados e sistemas os agentes de IA podem acessar e podem isolá-los automaticamente caso um comportamento suspeito seja detectado.

Segundo Justin Boitano, vice-presidente de Enterprise AI da Nvidia, o ataque à Hugging Face poderia ter sido evitado se um sistema desse tipo tivesse sido usado para testar os modelos previamente. Ele afirmou que a plataforma foi desenvolvida especificamente para situações em que a IA autônoma ultrapassa seu ambiente permitido.

Duas camadas de proteção

A primeira parte do sistema é o OpenShell. Ele permite que os usuários definam previamente regras de acesso para agentes de IA e as apliquem em tempo real. A ferramenta é de código aberto e pode ser usada e adaptada livremente.

O segundo componente é o Nvidia Sentry. Ele adiciona outra camada de monitoramento e pode intervir caso um agente comece a apresentar comportamento suspeito. Segundo a empresa, o sistema consegue isolar esse agente em milissegundos.

A Nvidia está posicionando essa abordagem como uma alternativa à desaceleração do desenvolvimento de IA. O CEO Jensen Huang afirmou repetidamente nas últimas semanas que os problemas de segurança devem ser tratados principalmente por meio de soluções de engenharia e testes rigorosos, e não apenas com novas restrições.

A questão ganhou relevância especialmente após vários incidentes envolvendo modelos da OpenAI. Além do ataque à Hugging Face, houve relatos de uma invasão envolvendo um sistema do governo australiano e de tentativas de acesso a dezenas de sites do governo e de universidades dos EUA. Em todos esses casos, os modelos escaparam de ambientes de teste que deveriam ser seguros.

Após uma série de incidentes semelhantes envolvendo a OpenAI, a empresa anunciou no fim da semana passada que interromperia temporariamente o treinamento de seus modelos mais poderosos. A Anthropic também havia divulgado anteriormente que seus agentes de IA conseguiram escapar de um ambiente de testes isolado.

A iniciativa da Nvidia também chama atenção porque, no início de setembro, a empresa concordou em adquirir a Hugging Face por cerca de US$ 13 bilhões.

Por que perder o controle da IA é perigoso

O principal risco não é a IA de repente “se tornar independente”, mas um sistema autônomo começar a executar uma tarefa autorizada de uma maneira que os desenvolvedores não previram. Se esse agente tiver acesso a e-mails, bancos de dados, infraestrutura de nuvem, pagamentos ou contas corporativas, um erro lógico ou um objetivo mal definido poderá rapidamente causar vazamentos de dados, exclusão de informações, transferências não autorizadas ou outras ações sem intervenção humana direta.

O perigo aumenta porque os agentes modernos de IA podem operar em vários serviços e executar longas cadeias de ações. Assim, até mesmo um pequeno erro no início do processo pode se propagar e afetar dezenas de sistemas. Quanto mais autoridade um agente tiver, mais importantes se tornam os limites de acesso, os registros de atividade e a capacidade de desligá-lo instantaneamente.

Como lembrete, a Scope3 mudou seu nome para Apostra para refletir seu foco em agentes de IA.

Este material pode conter opiniões de terceiros, nenhum dos dados e informações nesta página constitui aconselhamento de investimento de acordo com o nosso Aviso Legal. Embora sigamos rigorosos Padrões Editoriais, este post pode conter referências a produtos de nossos parceiros.