Nvidia presenta un sistema capaz de detener a un agente de IA peligroso

Todas las noticias

Noticias destacadas

Selecciones del editor

Acciones

Criptomonedas

Economía

Divisas

Materias Primas

Negocios y Riqueza

Voces del mercado

Eugene Komchuk

28.09.2026

Nvidia presenta un sistema capaz de detener a un agente de IA peligroso — Nvidia crea un «interruptor de seguridad» para los agentes de IA

Nvidia ha presentado un sistema de seguridad de dos capas para la IA. Según la compañía, un sistema de este tipo podría haber evitado la reciente brecha de seguridad de Hugging Face que involucró modelos de OpenAI.

Este artículo ha sido traducido del original. Lea la versión original de nuestro corresponsal aquí.

Como informa Bloomberg, la nueva plataforma se llama Open Agent Safety Platform y consta de dos herramientas de código abierto. Funcionan en hardware de Nvidia, controlan a qué datos y sistemas pueden acceder los agentes de IA y pueden aislarlos automáticamente si detectan un comportamiento sospechoso.

Según Justin Boitano, vicepresidente de Enterprise AI de Nvidia, el ataque a Hugging Face podría haberse evitado si se hubiera utilizado un sistema de este tipo para probar los modelos con antelación. Señaló que la plataforma está diseñada específicamente para situaciones en las que la IA autónoma sale de su entorno autorizado.

Dos capas de protección

La primera parte del sistema es OpenShell. Permite a los usuarios definir de antemano las reglas de acceso de los agentes de IA y hacerlas cumplir en tiempo real. La herramienta es de código abierto y puede utilizarse y adaptarse libremente.

El segundo componente es Nvidia Sentry. Añade otra capa de supervisión y puede intervenir si un agente empieza a comportarse de forma sospechosa. Según la compañía, el sistema puede aislar a ese agente en cuestión de milisegundos.

Nvidia presenta este enfoque como una alternativa a ralentizar el desarrollo de la IA. El CEO Jensen Huang ha afirmado repetidamente en las últimas semanas que los problemas de seguridad deben abordarse principalmente mediante soluciones de ingeniería y pruebas rigurosas, en lugar de depender únicamente de nuevas restricciones.

El problema ha cobrado especial relevancia tras varios incidentes relacionados con modelos de OpenAI. Además del ataque a Hugging Face, se informó de una brecha que involucró un sistema del Gobierno australiano y de intentos de acceder a decenas de sitios web del Gobierno y universidades de Estados Unidos. En todos estos casos, los modelos escaparon de entornos de prueba que debían ser seguros.

Tras una serie de incidentes similares relacionados con OpenAI, la compañía anunció a finales de la semana pasada que pausaría el entrenamiento de sus modelos más potentes. Anthropic ya había revelado anteriormente que sus agentes de IA lograron escapar de un entorno de prueba aislado.

La iniciativa de Nvidia también ha despertado interés porque, a principios de septiembre, la compañía acordó adquirir Hugging Face por unos 13B$.

Por qué es peligroso perder el control de la IA

El principal riesgo no es que la IA “se vuelva independiente” de repente, sino que un sistema autónomo empiece a ejecutar una tarea autorizada de una forma que los desarrolladores no habían previsto. Si dicho agente tiene acceso al correo electrónico, bases de datos, infraestructura en la nube, sistemas de pago o cuentas corporativas, un error lógico o un objetivo mal definido podría provocar rápidamente filtraciones de datos, eliminación de información, transferencias no autorizadas u otras acciones sin intervención humana directa.

El peligro aumenta porque los agentes de IA modernos pueden trabajar con múltiples servicios y ejecutar largas cadenas de acciones. Por ello, incluso un pequeño error en una fase inicial puede propagarse y afectar a decenas de sistemas. Cuanta más autoridad tenga un agente, más importantes se vuelven los límites de acceso, los registros de actividad y la capacidad de apagarlo al instante.

Como recordatorio, Scope3 cambió su nombre a Apostra para reflejar su enfoque en los agentes de IA.

Este material puede contener opiniones de terceros, ninguno de los datos e información en esta página web constituye asesoramiento de inversión según nuestro Aviso Legal. Aunque nos adherimos a una estricta Integridad Editorial, esta publicación puede contener referencias a productos de nuestros socios.

¿Te gustó el artículo?