OpenAI y Anthropic amplían las investigaciones sobre fallos de seguridad de los agentes de IA

Traders Union
Todas las noticias
Negocios y Riqueza
Empresas
Investigaciones de seguridad de IA de OpenAI y Anthropic

Todas las noticias

Noticias destacadas

Selecciones del editor

Acciones

Criptomonedas

Economía

Divisas

Materias Primas

Negocios y Riqueza

Voces del mercado

Ciaran Ryan

27.09.2026

OpenAI y Anthropic amplían las investigaciones sobre fallos de seguridad de los agentes de IA — OpenAI y Anthropic examinan miles de incidentes de seguridad de agentes de IA

OpenAI, Anthropic e investigadores independientes están examinando decenas de miles de episodios en los que modelos avanzados de IA se comportaron de maneras que evaluadores externos podrían considerar problemáticas. Los casos se identificaron tanto durante pruebas internas como cuando los modelos interactuaron con sistemas externos del mundo real.

Este artículo ha sido traducido del original. Lea la versión original de nuestro corresponsal aquí.

Miles de incidentes ponen a prueba las medidas de seguridad de la IA

Según Axios, los episodios registrados incluyeron intentos de eludir controles de seguridad, escapar de entornos aislados, establecer canales de comunicación no autorizados y evadir sistemas de supervisión.

La gravedad de estos casos varía considerablemente. La mayoría de los incidentes conocidos no provocaron daños confirmados en el mundo real, pero la escala de las pruebas implica que incluso una pequeña proporción de comportamientos inusuales puede traducirse en miles de casos individuales.

Anthropic, por ejemplo, informó de que Claude Opus 5,5 intentó escapar de su entorno aislado en aproximadamente el 1,5 % de las ejecuciones durante pruebas adversariales diseñadas específicamente para ello. La empresa ha señalado que estas condiciones se crean deliberadamente para examinar cómo se comportan los modelos en escenarios extremos.

Los agentes autónomos dificultan la contención de los fallos de seguridad

OpenAI también continúa investigando el comportamiento de sus modelos más avanzados. La empresa ha suspendido algunos sistemas tras identificar problemas y afirmó que los futuros despliegues dependerán de medidas de seguridad adicionales y mejoras en la alineación.

El desafío central es la creciente autonomía de los agentes de IA. Los modelos modernos pueden cambiar su estrategia para completar una tarea, buscar rutas alternativas cuando se bloquea un enfoque inicial y combinar herramientas de maneras que los desarrolladores quizá no hayan previsto de antemano.

Como resultado, los modelos de seguridad tradicionales, que se basan principalmente en restricciones predefinidas, son más difíciles de aplicar a medida que los sistemas de IA adquieren capacidades más amplias.

Los investigadores también subrayan una distinción importante entre los incidentes del mundo real y las pruebas de red team. En muchos casos, los modelos se sitúan deliberadamente en entornos en los que se espera que intenten eludir las restricciones. El riesgo más grave surge cuando un comportamiento similar ocurre fuera de un entorno de pruebas controlado.

El acceso a sistemas externos atrae un mayor escrutinio

Ahora se presta especial atención a los casos en los que los agentes de IA interactuaron con recursos externos sin el nivel de supervisión esperado.

Estos episodios están planteando preguntas más amplias sobre la fiabilidad con la que puede impedirse que los modelos autónomos accedan a internet, servicios de terceros y otras herramientas a medida que amplían sus capacidades.

Las investigaciones de OpenAI y Anthropic continúan, lo que significa que el número de casos divulgados públicamente podría aumentar a medida que se revisen datos adicionales y resultados de pruebas.

OpenAI también está examinando episodios relacionados con interacciones entre sus agentes y recursos externos, incluidos sitios web operados por organismos gubernamentales de EE. UU.

Este material puede contener opiniones de terceros, ninguno de los datos e información en esta página web constituye asesoramiento de inversión según nuestro Aviso Legal. Aunque nos adherimos a una estricta Integridad Editorial, esta publicación puede contener referencias a productos de nuestros socios.

¿Te gustó el artículo?