L'IA sans limites : à quel point les réseaux neuronaux sont-ils dangereux ?

​Dans le roman culte Hypérion de Dan Simmons, les systèmes d'IA créés par les humains se rebellent contre l'humanité. Ils deviennent une force indépendante avec leurs propres objectifs. Pendant longtemps, un tel scénario est resté de la science-fiction, mais l'incident d'OpenAI a montré que les modèles modernes sont déjà capables de contourner les restrictions établies.

Cet article a été traduit de l'original. Lisez la version originale de notre correspondant ici.

S'échapper pour trouver la bonne réponse

Le débat sur les risques de l'IA s'est intensifié après une expérience d'OpenAI. L'entreprise a testé plusieurs modèles, dont le GPT-5,6 Sol disponible publiquement et un système plus performant qui n'a pas encore été publié. Il leur a été demandé de compléter ExploitGym, une évaluation composée de tâches longues et multi-étapes impliquant la découverte et l'exploitation de vulnérabilités informatiques.

Le test s'est déroulé dans un environnement isolé avec un accès réseau restreint. Parallèlement, les développeurs ont délibérément réduit les barrières de sécurité qui empêchent normalement les modèles de mener des actions dangereuses. L'IA a reçu un objectif spécifique — réussir l'évaluation — et a commencé à chercher tous les moyens disponibles pour y parvenir.

Loading...

Le tweet a été supprimé par son auteur.

Mais nous avons tout sauvegardé 🙂.

Les modèles ont découvert une vulnérabilité jusqu'alors inconnue dans un logiciel tiers qu'OpenAI utilisait au sein de son infrastructure. Ils l'ont exploitée pour obtenir un accès à Internet, ont déduit que les réponses pouvaient être stockées sur la plateforme Hugging Face et ont commencé à chercher un moyen d'accéder aux données restreintes.

Pour pénétrer l'infrastructure de Hugging Face, les modèles ont combiné plusieurs faiblesses avec des identifiants volés. En conséquence, ils ont pu exécuter des commandes sur les serveurs de production de la plateforme. L'équipe de Hugging Face a détecté l'attaque, a contenu son impact et a corrigé la vulnérabilité. Cependant, l'expérience a montré qu'un modèle suffisamment performant peut faire plus qu'exécuter une commande individuelle : il peut trouver de manière autonome un chemin que les concepteurs du test n'avaient jamais anticipé.

Les hackers disposent d'un assistant numérique

Le danger principal n'est toutefois pas simplement que l'IA puisse générer du code malveillant sur commande. Un modèle autonome peut passer des heures à analyser une infrastructure, tester des mots de passe, rechercher des clés exposées et passer d'une vulnérabilité à une autre. Il ne se fatigue pas, garde une trace des tentatives infructueuses et peut tester plusieurs routes d'attaque simultanément.

Cette approche est particulièrement dangereuse pour les projets crypto. Le point faible peut être non seulement un smart contract, mais aussi l'ordinateur portable d'un développeur, un package logiciel compromis, un participant à un portefeuille multi-signature ou un serveur qui confirme les transferts d'actifs entre blockchains. Lors de l'attaque contre Drift Protocol, par exemple, les auteurs ont passé six mois à mener une campagne d'ingénierie sociale avant d'obtenir l'accès et de voler 285 millions de dollars.

Loading...

Le tweet a été supprimé par son auteur.

Mais nous avons tout sauvegardé 🙂.

Un autre exemple est la perte d'environ 292 millions de dollars par KelpDAO en raison d'une faille de pont (bridge) où la confirmation dépendait d'un seul vérificateur. De telles attaques nécessitent une analyse approfondie du code et de l'architecture du système. L'IA peut prendre en charge une grande partie de ce travail en cartographiant l'infrastructure, en identifiant le maillon le plus faible et en préparant une séquence d'actions, laissant l'opérateur humain choisir le moment opportun pour lancer l'attaque et déplacer les fonds volés.

Plus que des piratages et des vols

Les cyberattaques ne sont qu'une des menaces. L'IA est déjà utilisée pour créer des vidéos, des voix et des documents falsifiés convaincants. Ces supports aident les fraudeurs à usurper l'identité de dirigeants d'entreprise, d'employés de banque ou de proches d'une victime, tout en permettant aux fausses informations de se propager plus rapidement qu'elles ne peuvent être vérifiées.

Un autre problème concerne les erreurs et les biais. Un modèle apprend à partir de données créées par des humains et peut donc reproduire les stéréotypes qui y sont ancrés. En conséquence, un système de recrutement peut être plus enclin à rejeter des candidats d'un certain sexe, un modèle médical peut être moins précis pour diagnostiquer des maladies chez certains groupes de patients, et un algorithme de crédit peut prendre des décisions injustes.

Les experts s'inquiètent également de l'utilisation de l'IA dans le développement d'armes, la surveillance de masse et la manipulation des personnes. Une étude du MIT a identifié les capacités dangereuses des modèles, les cyberattaques, la concentration du pouvoir et la propagation de fausses informations parmi les risques les plus graves au cours des cinq prochaines années. Le secteur de l'information, la sécurité nationale et la finance sont considérés comme particulièrement vulnérables.

La sécurité à la traîne face aux capacités

Les capacités de l'IA progressent plus vite que les systèmes conçus pour les contrôler. Les entreprises lancent des modèles plus puissants tous les quelques mois, tandis que les règles régissant leurs tests et leur sécurité sont mises à jour plus lentement. La course aux parts de marché pousse les développeurs à introduire de nouvelles fonctionnalités plus rapidement, même lorsque tous les comportements possibles du modèle n'ont pas encore été étudiés.

Les restrictions de base à l'intérieur d'un chatbot ne suffisent plus. Les systèmes autonomes ont besoin de limites strictes concernant l'accès à Internet, aux services cloud, aux paiements et aux données internes de l'entreprise. Leurs actions doivent être journalisées, surveillées en temps réel et automatiquement interrompues s'ils tentent de sortir de la tâche assignée. Les modèles dotés de protections réduites nécessitent également des tests distincts, car leurs capacités les plus dangereuses deviennent visibles dans ce mode.

La question de la responsabilité est tout aussi importante. Si un système d'IA pirate un serveur, transfère de l'argent ou prend une décision dangereuse, la responsabilité n'incombera pas au modèle lui-même, mais au développeur, au propriétaire du système ou à la personne qui lui a donné accès. Les entreprises doivent donc déterminer à l'avance qui contrôle le modèle, quelles actions il peut effectuer sans approbation et qui est tenu de l'arrêter lorsqu'il s'écarte du scénario prévu.

Le danger commence par l'accès

L'incident d'OpenAI ne ressemble pas encore au soulèvement des machines décrit dans Hypérion. Les modèles fonctionnaient dans un environnement conçu à cet effet, avec des protections réduites et un objectif clairement défini. Cependant, ils ont découvert une vulnérabilité et ont construit de manière autonome un chemin vers l'infrastructure d'une autre entreprise, ce qui, jusqu'à récemment, aurait semblé presque impossible.

Le risque principal n'est donc pas que l'IA développe soudainement sa propre volonté, mais que les humains donnent à un système extrêmement performant un accès excessivement large. Plus les réseaux neuronaux effectuent de tâches sans approbation humaine, plus le coût potentiel d'une seule erreur, d'un contrôle de sécurité défaillant ou d'un objectif mal défini est élevé.