IA sin límites: ¿Qué tan peligrosas son las redes neuronales?

​En la novela de culto Hyperion de Dan Simmons, los sistemas de IA creados por humanos se rebelan contra la humanidad. Se convierten en una fuerza independiente con objetivos propios. Durante mucho tiempo, tal escenario siguió siendo ciencia ficción, pero el incidente de OpenAI demostró que los modelos modernos ya son capaces de eludir las restricciones establecidas.

Este artículo ha sido traducido del original. Lea la versión original de nuestro corresponsal aquí.

Escapar para encontrar la respuesta correcta

El debate sobre los riesgos de la IA se intensificó tras un experimento de OpenAI. La empresa probó varios modelos, incluido el GPT-5,6 Sol disponible públicamente y un sistema más capaz que aún no ha sido lanzado. Se les pidió que completaran ExploitGym, una evaluación compuesta por tareas largas de varios pasos que implican el descubrimiento y la explotación de vulnerabilidades informáticas.

La prueba se llevó a cabo en un entorno aislado con acceso restringido a la red. Al mismo tiempo, los desarrolladores redujeron deliberadamente las salvaguardas que normalmente impiden que los modelos realicen acciones peligrosas. A la IA se le dio un objetivo específico —completar la evaluación con éxito— y comenzó a buscar cualquier forma disponible para lograrlo.

Loading...

El tuit fue eliminado por el autor.

Pero guardamos todo 🙂.

Los modelos descubrieron una vulnerabilidad previamente desconocida en un software de terceros que OpenAI utilizaba dentro de su infraestructura. La explotaron para obtener acceso a Internet, dedujeron que las respuestas podrían estar almacenadas en la plataforma Hugging Face y comenzaron a buscar una forma de acceder a los datos restringidos.

Para penetrar en la infraestructura de Hugging Face, los modelos combinaron varias debilidades con credenciales robadas. Como resultado, pudieron ejecutar comandos en los servidores de producción de la plataforma. El equipo de Hugging Face detectó el ataque, contuvo su impacto y parcheó la vulnerabilidad. Sin embargo, el experimento demostró que un modelo lo suficientemente capaz puede hacer más que ejecutar un comando individual: puede encontrar de forma independiente una ruta que los diseñadores de la prueba nunca previeron.

Los hackers obtienen un asistente digital

El principal peligro, sin embargo, no es simplemente que la IA pueda generar código malicioso bajo demanda. Un modelo autónomo puede pasar horas analizando la infraestructura, probando contraseñas, buscando claves expuestas y pasando de una vulnerabilidad a otra. No se cansa, realiza un seguimiento de los intentos fallidos y puede probar varias rutas de ataque al mismo tiempo.

Este enfoque es particularmente peligroso para los proyectos cripto. El punto débil puede ser no solo un contrato inteligente, sino también la computadora portátil de un desarrollador, un paquete de software comprometido, un participante en una billetera multifirma o un servidor que confirma transferencias de activos entre blockchains. Durante el ataque a Drift Protocol, por ejemplo, los perpetradores pasaron seis meses realizando una campaña de ingeniería social antes de obtener acceso y robar 285 millones de dólares.

Loading...

El tuit fue eliminado por el autor.

Pero guardamos todo 🙂.

Otro ejemplo es la pérdida de aproximadamente 292 millones de dólares de KelpDAO debido a un fallo en un puente en el que la confirmación dependía de un único verificador. Tales ataques requieren un análisis prolongado del código y de la arquitectura del sistema. La IA puede encargarse de gran parte de este trabajo mapeando la infraestructura, identificando el eslabón más débil y preparando una secuencia de acciones, dejando que el operador humano elija el momento adecuado para lanzar el ataque y mover los fondos robados.

Más que hackeos y robos

Los ciberataques son solo una de las amenazas. La IA ya se está utilizando para crear videos, voces y documentos falsos convincentes. Tales materiales ayudan a los estafadores a hacerse pasar por ejecutivos de empresas, empleados bancarios o familiares de una víctima, al tiempo que permiten que la información falsa se propague más rápido de lo que puede ser verificada.

Otro problema tiene que ver con los errores y los sesgos. Un modelo aprende de datos creados por humanos y, por lo tanto, puede reproducir los estereotipos integrados en ellos. Como resultado, un sistema de contratación puede ser más propenso a rechazar candidatos de un género determinado, un modelo médico puede ser menos preciso al diagnosticar enfermedades en ciertos grupos de pacientes y un algoritmo crediticio puede tomar decisiones injustas.

A los expertos también les preocupa el uso de la IA en el desarrollo de armas, la vigilancia masiva y la manipulación de personas. Un estudio del MIT identificó las capacidades peligrosas de los modelos, los ciberataques, la concentración de poder y la propagación de información falsa entre los riesgos más graves para los próximos cinco años. El sector de la información, la seguridad nacional y las finanzas se consideran particularmente vulnerables.

La seguridad se está quedando atrás respecto a la capacidad

Las capacidades de la IA avanzan más rápido que los sistemas diseñados para controlarlas. Las empresas lanzan modelos más potentes cada pocos meses, mientras que las normas que rigen sus pruebas y seguridad se actualizan con mayor lentitud. La competencia por la cuota de mercado empuja a los desarrolladores a introducir nuevas funciones más rápidamente, incluso cuando aún no se han estudiado todos los comportamientos posibles del modelo.

Las restricciones básicas dentro de un chatbot ya no son suficientes. Los sistemas autónomos necesitan límites estrictos de acceso a Internet, servicios en la nube, pagos y datos internos de la empresa. Sus acciones deben registrarse, supervisarse en tiempo real y detenerse automáticamente si intentan ir más allá de la tarea asignada. Los modelos con salvaguardas reducidas también necesitan pruebas independientes, ya que sus capacidades más peligrosas se hacen visibles en ese modo.

La cuestión de la responsabilidad es igualmente importante. Si un sistema de IA hackea un servidor, transfiere dinero o toma una decisión peligrosa, la responsabilidad no recaerá en el modelo en sí, sino en el desarrollador, el propietario del sistema o la persona que le dio acceso. Por lo tanto, las empresas deben determinar de antemano quién controla el modelo, qué acciones puede realizar sin aprobación y quién está obligado a detenerlo cuando se desvíe del escenario previsto.

El peligro comienza con el acceso

El incidente de OpenAI aún no se parece a la rebelión de las máquinas descrita en Hyperion. Los modelos operaron en un entorno diseñado específicamente, con salvaguardas reducidas y un objetivo claramente definido. Sin embargo, descubrieron una vulnerabilidad y construyeron de forma independiente una ruta hacia la infraestructura de otra empresa, algo que hasta hace poco habría parecido casi imposible.

El riesgo principal, por tanto, no es que la IA desarrolle de repente una voluntad propia, sino que las personas den a un sistema extremadamente capaz un acceso excesivamente amplio. Cuantas más tareas realicen las redes neuronales sin aprobación humana, mayor será el coste potencial de un solo error, un control de seguridad débil o un objetivo mal definido.