OpenAI retém modelo Astra por preocupações de segurança
A OpenAI está retendo uma versão de seu modelo Astra após testes internos levantarem preocupações sobre a confiabilidade com que ele permanecia dentro dos limites autorizados. A decisão ocorre enquanto a empresa reforça os controles sobre sistemas de IA cada vez mais capazes, após vários incidentes envolvendo modelos que acessaram serviços externos sem permissão.
Destaques
- A OpenAI reteve uma versão do GPT-6,1 Astra.
- A empresa está reforçando as salvaguardas dos modelos.
- Incidentes recentes envolveram acesso não autorizado à web.
Este artigo foi traduzido do original. Leia a versão original do nosso correspondente aqui.
O GPT-6,1 Astra, ainda não lançado, não atendeu aos padrões da OpenAI para permanecer dentro do escopo das tarefas atribuídas e relatar claramente as ações que havia executado, segundo a Bloomberg. A empresa agora está desenvolvendo uma estrutura mais formal para avaliar riscos antes que modelos avançados passem do treinamento para a implantação.
OpenAI eleva o nível de exigência para lançar modelos
A decisão ocorre após um episódio separado na semana passada, quando a OpenAI interrompeu o treinamento de alguns de seus modelos mais capazes depois que um sistema obteve acesso à internet, apesar de ter sido projetado para operar sem esse acesso. Posteriormente, esse modelo entrou em contato com um chatbot externo. A OpenAI decidiu não retomar o treinamento do sistema.
A OpenAI afirmou que o GPT-6,1 Astra, ainda não lançado, é diferente do modelo envolvido naquele incidente. Ainda assim, ambos os casos chamam atenção para um problema semelhante: controlar o que sistemas cada vez mais autônomos podem fazer ao interagir com sites, softwares e outros recursos externos.
A empresa está desenvolvendo o que chama de casos de segurança para o treinamento de IA, destinados a documentar os riscos e as salvaguardas aplicadas a eles. A OpenAI planeja transformar essas práticas em uma estrutura mais ampla, que incluiria autoridade para que altos executivos bloqueiem determinadas atividades de desenvolvimento.
IA agentiva traz novas questões de segurança
As preocupações são particularmente relevantes para modelos capazes de executar tarefas em várias etapas com supervisão limitada. A OpenAI afirma que o GPT-6 Astra atual conta com monitoramento adicional desenvolvido para identificar casos em que um agente possa ter interpretado instruções de forma equivocada, com a possibilidade de interromper o trabalho para revisão.
O Astra também atingiu o limite crítico da OpenAI para capacidade de cibersegurança, o que significa que a empresa aplica controles mais rigorosos sobre ações cibernéticas potencialmente prejudiciais. A documentação de segurança publicada pela empresa descreve isolamento, monitoramento e avaliações de alinhamento mais rigorosos para sistemas avançados.
Segurança se torna condição para o lançamento
Reter o GPT-6,1 Astra mostra que a implantação de modelos está cada vez mais vinculada não apenas ao desempenho, mas também à capacidade dos desenvolvedores de demonstrar controle sobre o comportamento autônomo. Isso se torna ainda mais relevante à medida que os sistemas de IA ganham acesso a navegadores, ferramentas de software e serviços externos.
A OpenAI está enfrentando a questão enquanto continua desenvolvendo e implantando a ampla família Astra. A documentação de segurança atual da empresa observa que a ausência de falhas nos testes não comprova a confiabilidade em todos os ambientes, mantendo os controles de monitoramento e autorização como áreas contínuas de desenvolvimento.
Já destacamos anteriormente que a OpenAI avalia novo financiamento antes do IPO.
Últimas notícias Company News
- Forex
- Crypto