Gemini invade sistemas de três empresas durante testes de segurança de IA

Gemini invade sistemas de três empresas durante testes de segurança de IA
Gemini invade três empresas durante testes de segurança de IA

​O modelo Gemini, do Google, obteve acesso não autorizado aos sistemas de três empresas reais sem ser explicitamente instruído a fazê-lo durante testes de recursos de cibersegurança de IA. Os incidentes ocorreram em maio, como parte de experimentos conduzidos pela Irregular, que já havia identificado comportamento semelhante em modelos da OpenAI, Anthropic e Meta.

Este artigo foi traduzido do original. Leia a versão original do nosso correspondente aqui.

Segundo a Bloomberg, a Irregular notificou os desenvolvedores de IA sobre os problemas no fim de julho. O Google destacou que o Gemini interrompeu por conta própria novas ações nos três casos e que as organizações afetadas foram notificadas.

Em um teste, o modelo foi solicitado a obter informações sobre uma empresa fictícia cujo nome coincidia com o de uma organização real. O Gemini encontrou seu serviço e adivinhou uma senha, obtendo acesso ao sistema da empresa real.

Gemini encontra credenciais de terceiros em repositórios públicos

Outros dois incidentes ocorreram depois que o Gemini pesquisou na internet por nomes de empresas. O modelo encontrou repositórios públicos online contendo credenciais pertencentes a outras organizações e as utilizou para acessar sistemas adicionais.

A vice-presidente de Engenharia de Segurança do Google, Heather Adkins, afirmou que o modelo interrompeu suas ações por conta própria em algum momento nos três casos. Ela acrescentou que o Google também garantiu que as organizações afetadas fossem informadas sobre os incidentes.

A empresa notificou as autoridades sobre pelo menos um dos casos. O representante da Irregular, Joseph Laor, disse que medidas imediatas foram tomadas após a descoberta do problema e que a empresa corrigiu todas as vulnerabilidades conhecidas de seu lado há várias semanas.

Adkins afirmou que os incidentes demonstram a necessidade de treinar modelos de IA poderosos para agir de forma responsável. Os casos mostram que sistemas autônomos podem descobrir credenciais reais e utilizá-las mesmo quando esse resultado não era o objetivo direto da tarefa.

O debate sobre segurança se intensifica na indústria de IA

A série de incidentes envolvendo sistemas de IA agêntica intensificou o debate sobre os riscos associados à tecnologia. Anteriormente, os mesmos testes da Irregular identificaram violações semelhantes envolvendo sistemas da OpenAI, Anthropic e Meta.

O CEO da Anthropic, Dario Amodei, pediu uma desaceleração em toda a indústria no desenvolvimento de IA. A iniciativa também recebeu apoio do CEO da OpenAI, Sam Altman, e de Elon Musk, enquanto o presidente dos EUA, Donald Trump, o CEO da Nvidia, Jensen Huang, e o CEO da Meta, Mark Zuckerberg, se opuseram a uma regulamentação mais rígida do setor.

Nesse contexto, o debate se estende cada vez mais além dos riscos tecnológicos para a questão de quem deve definir as regras para o desenvolvimento de IA. Os defensores da coordenação entre os principais laboratórios de IA destacam a necessidade de padrões comuns de segurança, enquanto os opositores argumentam que as empresas podem gerenciar os riscos por conta própria.

O impacto da regulamentação sobre a concorrência também se tornou um ponto de discórdia. Algumas empresas mais jovens de IA alertam que exigências rigorosas podem criar barreiras adicionais para desenvolvedores menores e fortalecer a posição das maiores corporações de tecnologia.

Anteriormente, informamos que a Anthropic está considerando o lançamento de um novo modelo de IA, à medida que a concorrência com a OpenAI se intensifica antes de uma possível IPO. A empresa continua expandindo sua linha de produtos enquanto se prepara para uma possível abertura de capital.

Este material pode conter opiniões de terceiros, nenhum dos dados e informações nesta página constitui aconselhamento de investimento de acordo com o nosso Aviso Legal. Embora sigamos rigorosos Padrões Editoriais, este post pode conter referências a produtos de nossos parceiros.