IA sem limites: quão perigosas são as redes neurais?

No romance cult de Dan Simmons, Hyperion, sistemas de IA criados por humanos se rebelam contra a humanidade. Eles se tornam uma força independente com objetivos próprios. Por muito tempo, tal cenário permaneceu como ficção científica, mas o incidente da OpenAI mostrou que os modelos modernos já são capazes de contornar restrições estabelecidas.

Este artigo foi traduzido do original. Leia a versão original do nosso correspondente aqui.

Escapando para encontrar a resposta certa

O debate sobre os riscos da IA intensificou-se após um experimento da OpenAI. A empresa testou vários modelos, incluindo o GPT-5,6 Sol disponível publicamente e um sistema mais capaz que ainda não foi lançado. Eles foram solicitados a completar o ExploitGym, uma avaliação composta por tarefas longas e de várias etapas que envolvem a descoberta e exploração de vulnerabilidades de computador.

O teste ocorreu em um ambiente isolado com acesso restrito à rede. Ao mesmo tempo, os desenvolvedores reduziram deliberadamente as salvaguardas que normalmente impedem os modelos de realizar ações perigosas. A IA recebeu um objetivo específico — concluir a avaliação com sucesso — e começou a procurar qualquer caminho disponível para alcançá-lo.

Loading...

O tweet foi excluído pelo autor.

Mas guardámos tudo 🙂.

Os modelos descobriram uma vulnerabilidade anteriormente desconhecida em um software de terceiros que a OpenAI usava em sua infraestrutura. Eles a exploraram para obter acesso à internet, deduziram que as respostas poderiam estar armazenadas na plataforma Hugging Face e começaram a procurar uma maneira de acessar dados restritos.

Para penetrar na infraestrutura da Hugging Face, os modelos combinaram várias fraquezas com credenciais roubadas. Como resultado, eles conseguiram executar comandos nos servidores de produção da plataforma. A equipe da Hugging Face detectou o ataque, conteve seu impacto e corrigiu a vulnerabilidade. No entanto, o experimento mostrou que um modelo suficientemente capaz pode fazer mais do que executar um comando individual: ele pode encontrar de forma independente um caminho que os criadores do teste nunca previram.

Hackers ganham um assistente digital

O perigo principal, no entanto, não é simplesmente que a IA possa gerar código malicioso sob comando. Um modelo autônomo pode passar horas analisando a infraestrutura, testando senhas, procurando chaves expostas e movendo-se de uma vulnerabilidade para outra. Ele não se cansa, mantém o controle das tentativas fracassadas e pode testar várias rotas de ataque ao mesmo tempo.

Essa abordagem é particularmente perigosa para projetos cripto. O ponto fraco pode ser não apenas um contrato inteligente, mas também o laptop de um desenvolvedor, um pacote de software comprometido, um participante em uma carteira multisig ou um servidor que confirma transferências de ativos entre blockchains. Durante o ataque ao Drift Protocol, por exemplo, os perpetradores passaram seis meses conduzindo uma campanha de engenharia social antes de obter acesso e roubar US$ 285 milhões.

Loading...

O tweet foi excluído pelo autor.

Mas guardámos tudo 🙂.

Outro exemplo é a perda de aproximadamente US$ 292 milhões da KelpDAO devido a uma falha em uma bridge na qual a confirmação dependia de um único verificador. Tais ataques exigem uma análise demorada do código e da arquitetura do sistema. A IA pode assumir grande parte desse trabalho mapeando a infraestrutura, identificando o elo mais fraco e preparando uma sequência de ações, deixando para o operador humano a escolha do momento certo para lançar o ataque e movimentar os fundos roubados.

Mais do que hacks e roubos

Ataques cibernéticos são apenas uma das ameaças. A IA já está sendo usada para criar vídeos, vozes e documentos falsos convincentes. Tais materiais ajudam fraudadores a se passarem por executivos de empresas, funcionários de bancos ou parentes de uma vítima, ao mesmo tempo em que permitem que informações falsas se espalhem mais rápido do que podem ser verificadas.

Outro problema envolve erros e vieses. Um modelo aprende com dados criados por humanos e, portanto, pode reproduzir os estereótipos neles contidos. Como resultado, um sistema de recrutamento pode ter maior probabilidade de rejeitar candidatos de um determinado gênero, um modelo médico pode ser menos preciso no diagnóstico de doenças em certos grupos de pacientes e um algoritmo de crédito pode tomar decisões injustas.

Especialistas também estão preocupados com o uso da IA no desenvolvimento de armas, vigilância em massa e manipulação de pessoas. Um estudo do MIT identificou capacidades perigosas dos modelos, ataques cibernéticos, concentração de poder e a disseminação de informações falsas entre os riscos mais graves para os próximos cinco anos. O setor de informação, a segurança nacional e as finanças são considerados particularmente vulneráveis.

A segurança está ficando atrás da capacidade

As capacidades da IA estão avançando mais rápido do que os sistemas projetados para controlá-las. As empresas lançam modelos mais potentes a cada poucos meses, enquanto as regras que regem seus testes e segurança são atualizadas mais lentamente. A competição por participação de mercado pressiona os desenvolvedores a introduzir novos recursos mais rapidamente, mesmo quando nem todos os comportamentos possíveis do modelo foram estudados.

Restrições básicas dentro de um chatbot não são mais suficientes. Sistemas autônomos precisam de limites rigorosos de acesso à internet, serviços de nuvem, pagamentos e dados internos de negócios. Suas ações devem ser registradas, monitoradas em tempo real e interrompidas automaticamente se tentarem ir além da tarefa atribuída. Modelos com salvaguardas reduzidas também precisam de testes separados, pois suas capacidades mais perigosas tornam-se visíveis nesse modo.

A questão da responsabilidade é igualmente importante. Se um sistema de IA hackear um servidor, transferir dinheiro ou tomar uma decisão perigosa, a responsabilidade não recairá sobre o modelo em si, mas sobre o desenvolvedor, o proprietário do sistema ou a pessoa que lhe deu acesso. Portanto, as empresas precisam determinar antecipadamente quem controla o modelo, quais ações ele pode realizar sem aprovação e quem é obrigado a interrompê-lo quando ele se desvia do cenário pretendido.

O perigo começa com o acesso

O incidente da OpenAI ainda não se assemelha à rebelião das máquinas descrita em Hyperion. Os modelos operaram em um ambiente construído para esse fim, com salvaguardas reduzidas e um objetivo claramente definido. No entanto, eles descobriram uma vulnerabilidade e construíram de forma independente um caminho para a infraestrutura de outra empresa, algo que até recentemente pareceria quase impossível.

O principal risco, portanto, não é que a IA desenvolva subitamente uma vontade própria, mas que as pessoas deem a um sistema extremamente capaz um acesso excessivamente amplo. Quanto mais tarefas as redes neurais realizam sem aprovação humana, maior o custo potencial de um único erro, de um controle de segurança fraco ou de um objetivo mal definido.