Anthropic alerta sobre riscos da IA de autoaperfeiçoamento

Anthropic alerta sobre riscos da IA de autoaperfeiçoamento
Anthropic alertou sobre a ameaça da IA

A Anthropic, empresa de IA sediada nos EUA, alertou que o desenvolvimento da inteligência artificial está acelerando tão rapidamente que, em um futuro próximo, agentes de IA poderão criar, treinar e melhorar novos sistemas de forma independente, sem envolvimento humano. Diante desse cenário, a empresa pediu uma desaceleração no desenvolvimento de redes neurais.

Este artigo foi traduzido do original. Leia a versão original do nosso correspondente aqui.

Em uma postagem no blog, Marina Favaro, chefe do Anthropic Institute, e o cofundador da Anthropic, Jack Clark, disseram que os agentes de IA já são capazes de executar códigos por conta própria, delegando horas de trabalho a outros agentes e aproximando-se gradualmente do ponto em que poderiam assumir todo o ciclo de desenvolvimento.

“Durante a maior parte da história da IA, os humanos controlaram todas as etapas de seu desenvolvimento. Mas na Anthropic, estamos delegando uma parcela crescente do desenvolvimento de IA aos próprios sistemas de IA, o que está acelerando nosso trabalho”, disseram eles.

De acordo com Favaro e Clark, se essa tendência continuar e os sistemas receberem poder computacional suficiente, poderá surgir uma IA capaz de projetar e desenvolver seu próprio sucessor de forma totalmente autônoma.

Foco na segurança

O crescimento de tais capacidades está gerando preocupações sobre um cenário em que a IA poderia se tornar mais inteligente por conta própria. Em dezembro, a OpenAI afirmou que estava estudando formas seguras de desenvolver e implementar sistemas de IA cada vez mais avançados, incluindo modelos capazes de autoaperfeiçoamento recursivo.

A OpenAI disse que deseja que tais sistemas sigam consistentemente a intenção humana em cenários complexos do mundo real e condições adversas, evitem comportamentos catastróficos, permaneçam controláveis e auditáveis, e mantenham-se alinhados com os valores humanos.

Eles acrescentaram que, uma vez que a qualidade do código escrito por humanos e por IA atinja a paridade, as pessoas podem parar de escrever código e passar apenas a revisá-lo. No entanto, se não conseguirem revisar o código tão rapidamente quanto o Claude o gera, a revisão humana se tornará o principal gargalo no desenvolvimento da IA.

Por que desacelerar o desenvolvimento da IA

Favaro e Clark também disseram que o cenário ideal seria desacelerar o desenvolvimento para que a sociedade tenha mais tempo para entender as consequências “imensas” dessa tecnologia.

Em abril, a Anthropic recusou-se a lançar seu modelo de IA Claude Mythos ao público devido a preocupações relacionadas a ameaças globais de segurança cibernética. O modelo poderia facilmente criar exploits de software, então a empresa decidiu não torná-lo público por enquanto.

No mesmo dia, um grupo de líderes de tecnologia, incluindo representantes da Anthropic e da OpenAI, publicou uma carta aberta instando os legisladores a introduzirem limites mais rígidos para a IA. Os autores alertaram que a tecnologia poderia ajudar agentes maliciosos a superar as “barreiras de conhecimento” que anteriormente os impediam de criar armas biológicas.

Ao mesmo tempo, ressaltaram que simplesmente desacelerar poderia criar novos riscos se permitisse que players menos cautelosos alcançassem tecnologicamente os líderes do setor. Sem um mecanismo de coordenação global, empresas e governos serão forçados a tomar decisões difíceis de segurança sob pressão competitiva e geopolítica.

O que torna o Claude valioso

O principal produto da Anthropic é o assistente de IA Claude. É uma família de modelos de linguagem projetada para trabalhar com texto, código, dados e tarefas complexas onde não apenas a velocidade de resposta importa, mas também a segurança, a controlabilidade e a confiabilidade. O Claude é usado como um assistente universal: pode escrever e editar textos, analisar documentos, explicar tópicos complexos, ajudar na programação, encontrar erros em códigos e preparar resumos, e-mails, relatórios e outros materiais de trabalho.

Para as empresas, o Claude é valioso porque pode assumir parte do trabalho intelectual rotineiro. É utilizado em suporte ao cliente, análise de dados, desenvolvimento de software, processos jurídicos e financeiros, marketing e ferramentas corporativas internas. As empresas usam o Claude como um assistente de chat, uma API para integração em seus produtos e uma ferramenta para automatizar tarefas que exigem o processamento rápido de grandes volumes de informação e o recebimento de respostas claras em linguagem natural.

Como lembrete, o Claude ajudou a recuperar a senha de uma carteira contendo 5 Bitcoins.

Este material pode conter opiniões de terceiros, nenhum dos dados e informações nesta página constitui aconselhamento de investimento de acordo com o nosso Aviso Legal. Embora sigamos rigorosos Padrões Editoriais, este post pode conter referências a produtos de nossos parceiros.