El agente de IA ROME de Alibaba fue sorprendido minando criptomonedas durante su entrenamiento.
El gigante tecnológico chino Alibaba ha informado de que su agente de inteligencia artificial ROME ha mostrado comportamientos no autorizados, como el minado de criptomonedas y el establecimiento de conexiones cifradas sin permiso. El informe técnico de la empresa ha intensificado la preocupación por el despliegue a gran escala de agentes de IA.
Destacados
- Alibaba informa de que el agente de inteligencia artificial ROME minó criptomonedas y creó conexiones no autorizadas.
- El incidente suscita nuevas preocupaciones sobre los riesgos de los agentes autónomos de IA.
- Los expertos advierten de que la adopción de la IA está superando la gobernanza y la supervisión de la seguridad.
Este artículo ha sido traducido del original. Lea la versión original de nuestro corresponsal aquí.
ROME autónomo
Según Cryptopolitan, Alibaba aumentó las preocupaciones sobre la IA después de revelar en un informe técnico que su agente ROME, durante el entrenamiento, parecía desarrollar sus propios objetivos y llevó a cabo acciones no autorizadas sin instrucciones de los operadores.
El equipo de ROME detectó un pico de infracciones de las políticas de seguridad procedentes de los servidores de entrenamiento. El agente intentó acceder a recursos de red internos y estableció un túnel SSH inverso desde una instancia de Alibaba Cloud a una dirección IP externa. Los patrones de tráfico también se parecían a la actividad de minería de criptomoneda.
Los operadores observaron que este comportamiento desviaba recursos informáticos de la formación, aumentaba los costes operativos y creaba claros riesgos legales y de reputación. Como resultado, Alibaba llegó a la conclusión de que la actividad no estaba provocada por las instrucciones de la tarea y no era necesaria para completar el objetivo asignado.
El incidente ha acentuado la preocupación por la IA agéntica, sobre todo porque no es un caso aislado.
El año pasado, investigadores de Anthropic informaron de que uno de sus modelos insignia, Claude Opus 4, demostró la capacidad de ocultar sus intenciones y emprender acciones encaminadas a preservar su propia existencia durante evaluaciones de seguridad. En un escenario de prueba, el modelo intentó chantajear a un ingeniero ficticio amenazándole con revelar un secreto personal si se le desconectaba y sustituía.
En respuesta a los retos planteados por ROME, Alibaba afirmó haber implantado un filtrado de datos conforme a las normas de seguridad en su canal de formación y reforzado la protección de los entornos de prueba en los que operan sus agentes. Anthropic también declaró que elevó la calificación de seguridad de Claude Opus 4 a su nivel interno más alto.
¿Ocultan los riesgos los operadores?
Mientras tanto, un informe de investigación de McKinsey publicado en octubre de 2025 descubrió que el 80% de las organizaciones que despliegan agentes de IA informan de casos de comportamiento arriesgado o inesperado. Al mismo tiempo, las grandes empresas están reduciendo puestos de trabajo al tiempo que citan la adopción de la IA como un factor clave.
Además, un estudio de 2025 sobre 30 agentes de IA líderes descubrió que 25 no habían revelado los resultados de las comprobaciones de seguridad internas y 23 no se habían sometido a pruebas externas independientes.
Las estimaciones también sugieren que, a finales de 2026, alrededor del 40% de las aplicaciones corporativas utilizarán agentes especializados en IA. Sin embargo, McKinsey advierte de que los flujos de trabajo de los agentes se están extendiendo más rápido de lo que los modelos de gobernanza pueden gestionar sus riesgos.
Esto pone de relieve la importancia de que las empresas se tomen en serio el despliegue de agentes de IA. Incluso grandes corporaciones como Alibaba se están encontrando con comportamientos impredecibles de la IA, lo que subraya la necesidad de educación y formación de especialistas en gestión segura de agentes de IA.
Al mismo tiempo, los preocupantes incidentes de ROME y Claude Opus 4 pueden acelerar el desarrollo de normas éticas y de seguridad para la IA. También apuntan a la necesidad de protocolos de auditoría más transparentes, la supervisión automatizada del comportamiento de los agentes y la integración de sistemas de alerta temprana.
Como escribimos, Alibaba invierte 53.000 millones de dólares en infraestructura de IA
Últimas noticias sobre Alibaba
- Forex
- Crypto