Anthropic met en garde contre les risques de l'IA capable de s'auto-améliorer

Anthropic met en garde contre les risques de l'IA capable de s'auto-améliorer
Anthropic alerte sur la menace de l'IA

L'entreprise d'IA basée aux États-Unis, Anthropic, a averti que le développement de l'intelligence artificielle s'accélère si rapidement que, dans un avenir proche, des agents d'IA pourraient créer, entraîner et améliorer de nouveaux systèmes de manière indépendante, sans intervention humaine. Dans ce contexte, l'entreprise a appelé à un ralentissement du développement des réseaux neuronaux.

Cet article a été traduit de l'original. Lisez la version originale de notre correspondant ici.

Dans un article de blog, Marina Favaro, responsable de l'Anthropic Institute, et le cofondateur d'Anthropic, Jack Clark, ont déclaré que les agents d'IA sont déjà capables d'exécuter du code par eux-mêmes, de déléguer des heures de travail à d'autres agents et de se rapprocher progressivement du point où ils pourraient prendre en charge l'intégralité du cycle de développement.

« Pendant la majeure partie de l'histoire de l'IA, les humains ont contrôlé chaque étape de son développement. Mais chez Anthropic, nous déléguons une part croissante du développement de l'IA aux systèmes d'IA eux-mêmes, ce qui accélère notre travail », ont-ils déclaré.

Selon Favaro et Clark, si cette tendance se poursuit et que les systèmes reçoivent suffisamment de puissance de calcul, une IA pourrait finir par émerger, capable de concevoir et de développer son propre successeur de manière totalement autonome.

Priorité à la sécurité

La croissance de telles capacités soulève des inquiétudes quant à un scénario dans lequel l'IA pourrait devenir plus intelligente d'elle-même. En décembre, OpenAI a déclaré étudier des moyens sûrs de développer et de déployer des systèmes d'IA de plus en plus avancés, y compris des modèles capables d'auto-amélioration récursive.

OpenAI a précisé vouloir que ces systèmes suivent systématiquement l'intention humaine dans des scénarios complexes du monde réel et des conditions adverses, évitent les comportements catastrophiques, restent contrôlables et auditables, et demeurent alignés avec les valeurs humaines.

Ils ont ajouté qu'une fois que la qualité du code écrit par l'homme et celle du code écrit par l'IA auront atteint la parité, les gens pourraient cesser complètement d'écrire du code pour se consacrer uniquement à sa révision. Cependant, s'ils ne peuvent pas réviser le code aussi rapidement que Claude le génère, la révision humaine deviendra le principal goulot d'étranglement du développement de l'IA.

Pourquoi ralentir le développement de l'IA

Favaro et Clark ont également déclaré que le scénario idéal serait de ralentir le développement afin que la société ait plus de temps pour comprendre les conséquences « immenses » de cette technologie.

En avril, Anthropic a refusé de rendre public son modèle d'IA Claude Mythos en raison de préoccupations liées aux menaces mondiales de cybersécurité. Le modèle pouvait facilement créer des exploits logiciels, l'entreprise a donc décidé de ne pas le commercialiser pour le moment.

Le même jour, un groupe de leaders technologiques, comprenant des représentants d'Anthropic et d'OpenAI, a publié une lettre ouverte exhortant les législateurs à introduire des limites plus strictes sur l'IA. Les auteurs ont averti que la technologie pourrait aider des acteurs malveillants à surmonter les « barrières de connaissances » qui les empêchaient auparavant de créer des armes biologiques.

Dans le même temps, ils ont souligné que le simple fait de ralentir pourrait créer de nouveaux risques si cela permettait à des acteurs moins prudents de rattraper technologiquement les leaders de l'industrie. Sans mécanisme de coordination mondiale, les entreprises et les gouvernements seront contraints de prendre des décisions de sécurité difficiles sous la pression concurrentielle et géopolitique.

Ce qui fait la valeur de Claude

Le produit phare d'Anthropic est l'assistant IA Claude. Il s'agit d'une famille de modèles de langage conçus pour travailler avec du texte, du code, des données et des tâches complexes où comptent non seulement la vitesse de réponse, mais aussi la sécurité, la contrôlabilité et la fiabilité. Claude est utilisé comme un assistant universel : il peut rédiger et éditer des textes, analyser des documents, expliquer des sujets complexes, aider à la programmation, trouver des erreurs dans le code et préparer des résumés, des e-mails, des rapports et d'autres documents de travail.

Pour les entreprises, Claude est précieux car il peut prendre en charge une partie du travail intellectuel de routine. Il est utilisé dans le support client, l'analyse, le développement de logiciels, les processus juridiques et financiers, le marketing et les outils d'entreprise internes. Les entreprises utilisent Claude comme assistant de chat, comme API pour l'intégration dans leurs produits et comme outil d'automatisation des tâches nécessitant de traiter rapidement de grandes quantités d'informations et de recevoir des réponses claires en langage naturel.

Pour rappel, Claude a aidé à récupérer le mot de passe d'un portefeuille contenant 5 Bitcoins.

Ce matériel peut contenir des opinions de tiers, aucune des données et informations sur cette page web ne constitue un conseil en investissement selon notre Avertissement. Bien que nous respections une stricte Intégrité Éditoriale, ce post peut contenir des références à des produits de nos partenaires.