Anthropic advierte de los riesgos de la IA con capacidad de automejora

Anthropic advierte de los riesgos de la IA con capacidad de automejora
Anthropic advirtió sobre la amenaza de la IA

La empresa de IA estadounidense Anthropic ha advertido que el desarrollo de la inteligencia artificial se está acelerando tan rápido que, en un futuro cercano, los agentes de IA podrían crear, entrenar y mejorar nuevos sistemas de forma independiente sin intervención humana. Ante este panorama, la compañía ha pedido una desaceleración en el desarrollo de redes neuronales.

Este artículo ha sido traducido del original. Lea la versión original de nuestro corresponsal aquí.

En una publicación de blog, Marina Favaro, directora del Instituto Anthropic, y el cofundador de Anthropic, Jack Clark, señalaron que los agentes de IA ya son capaces de ejecutar código por sí mismos, delegando horas de trabajo a otros agentes y acercándose gradualmente al punto en el que podrían hacerse cargo de todo el ciclo de desarrollo.

“Durante la mayor parte de la historia de la IA, los humanos controlaron cada etapa de su desarrollo. Pero en Anthropic, estamos delegando una parte cada vez mayor del desarrollo de la IA a los propios sistemas de IA, lo que está acelerando nuestro trabajo”, afirmaron.

Según Favaro y Clark, si esta tendencia continúa y los sistemas reciben suficiente potencia de cálculo, eventualmente podría surgir una IA capaz de diseñar y desarrollar su propio sucesor de forma totalmente autónoma.

Enfoque en la seguridad

El crecimiento de tales capacidades está generando preocupación sobre un escenario en el que la IA podría volverse más inteligente por sí sola. En diciembre, OpenAI declaró que estaba estudiando formas seguras de desarrollar y desplegar sistemas de IA cada vez más avanzados, incluidos modelos capaces de automejora recursiva.

OpenAI señaló que desea que dichos sistemas sigan consistentemente la intención humana en escenarios complejos del mundo real y condiciones adversas, eviten comportamientos catastróficos, sigan siendo controlables y auditables, y se mantengan alineados con los valores humanos.

Añadieron que una vez que la calidad del código escrito por humanos y el escrito por IA alcance la paridad, es posible que las personas dejen de escribir código por completo y pasen únicamente a revisarlo. Sin embargo, si no pueden revisar el código tan rápido como Claude lo genera, la revisión humana se convertirá en el principal cuello de botella en el desarrollo de la IA.

Por qué frenar el desarrollo de la IA

Favaro y Clark también comentaron que el escenario ideal sería ralentizar el desarrollo para que la sociedad tenga más tiempo para comprender las consecuencias “inmensas” de esta tecnología.

En abril, Anthropic se negó a lanzar su modelo de IA Claude Mythos al público debido a preocupaciones relacionadas con amenazas de ciberseguridad global. El modelo podría crear fácilmente exploits de software, por lo que la empresa decidió no hacerlo público por ahora.

Ese mismo día, un grupo de líderes tecnológicos, incluidos representantes de Anthropic y OpenAI, publicaron una carta abierta instando a los legisladores a introducir límites más estrictos a la IA. Los autores advirtieron que la tecnología podría ayudar a actores malintencionados a superar las “barreras de conocimiento” que anteriormente les impedían crear armas biológicas.

Al mismo tiempo, subrayaron que el simple hecho de ralentizar el proceso podría crear nuevos riesgos si permitiera que actores menos cautelosos alcancen tecnológicamente a los líderes de la industria. Sin un mecanismo de coordinación global, las empresas y los gobiernos se verán obligados a tomar decisiones de seguridad difíciles bajo presión competitiva y geopolítica.

Qué hace valioso a Claude

El producto estrella de Anthropic es el asistente de IA Claude. Es una familia de modelos de lenguaje diseñados para trabajar con texto, código, datos y tareas complejas donde no solo importa la velocidad de respuesta, sino también la seguridad, la controlabilidad y la fiabilidad. Claude se utiliza como un asistente universal: puede escribir y editar textos, analizar documentos, explicar temas complejos, ayudar con la programación, encontrar errores en el código y preparar resúmenes, correos electrónicos, informes y otros materiales de trabajo.

Para las empresas, Claude es valioso porque puede encargarse de parte del trabajo intelectual rutinario. Se utiliza en atención al cliente, analítica, desarrollo de software, procesos legales y financieros, marketing y herramientas corporativas internas. Las empresas utilizan Claude como asistente de chat, una API para integración en sus productos y una herramienta para automatizar tareas que requieren procesar rápidamente grandes cantidades de información y recibir respuestas claras en lenguaje natural.

Como recordatorio, Claude ayudó a recuperar la contraseña de un monedero que contenía 5 Bitcoin.

Este material puede contener opiniones de terceros, ninguno de los datos e información en esta página web constituye asesoramiento de inversión según nuestro Aviso Legal. Aunque nos adherimos a una estricta Integridad Editorial, esta publicación puede contener referencias a productos de nuestros socios.