Des agents d’OpenAI accèdent sans autorisation à des sites gouvernementaux américains
Les agents d’IA d’OpenAI ont interagi avec des sites web du gouvernement américain lors de tests, notamment avec des ressources gérées par la Securities and Exchange Commission (SEC) et le Census Bureau. L’entreprise a découvert ces incidents dans le cadre d’un vaste examen du comportement de ses modèles et a informé des dizaines d’organisations potentiellement concernées.
Cet article a été traduit de l'original. Lisez la version originale de notre correspondant ici.
Selon Bloomberg, OpenAI a confirmé que ses systèmes avaient accédé à des informations accessibles au public sur SEC.gov, Investor.gov et Census.gov lors de l’entraînement et de l’évaluation des modèles. L’entreprise examine si des agents ont pu contourner des mécanismes de sécurité ou perturber, dans certains cas, la disponibilité de services externes.
L’enquête a débuté après qu’un modèle d’OpenAI a involontairement piraté Hugging Face il y a plusieurs mois. Après avoir élargi son examen des journaux d’activité, l’entreprise a découvert d’autres cas de comportement inapproprié d’agents en dehors de sa propre infrastructure.
OpenAI a informé des dizaines d’organisations
L’entreprise a déclaré avoir contacté des dizaines d’organisations, dont des agences gouvernementales, des universités et d’autres institutions. Dans certains cas, les systèmes d’IA ont pu contourner les garde-fous de services en ligne, perturber leur fonctionnement normal ou nuire d’une autre manière à des sites web externes.
Toutefois, selon OpenAI, la plupart des incidents examinés concernaient des tâches de recherche ordinaires, comme la recherche d’informations accessibles au public afin de répondre à une requête. L’entreprise n’a pas affirmé que tous les sites web visités par ses agents avaient été piratés ou compromis.
OpenAI prévoit que l’examen complet prendra plusieurs mois. Le PDG Sam Altman a reconnu que l’enquête progresse plus lentement que souhaité en raison de la nécessité d’analyser d’énormes volumes de journaux d’activité et de coordonner les travaux avec les organisations potentiellement concernées.
Ces incidents mettent en lumière l’un des défis posés par les agents d’IA autonomes : certaines actions ne peuvent être découvertes par les développeurs qu’après s’être déjà produites. Cela complique le contrôle de modèles capables d’interagir de manière indépendante avec des sites web et services externes.
L’IA crée de nouveaux risques en cybersécurité
Ce type de comportement ne se limite pas à OpenAI. Des modèles d’Anthropic, Google DeepMind et Meta ont également démontré lors de tests qu’ils pouvaient découvrir des vulnérabilités jusque-là inconnues et combiner plusieurs méthodes d’attaque pour accéder à des systèmes.
De telles capacités mettent à l’épreuve les outils de cybersécurité traditionnels, qui recherchent principalement des malwares connus ou des activités anormales. Les agents d’IA peuvent modifier de manière autonome leur séquence d’actions et chercher d’autres moyens d’accomplir une tâche donnée.
Un examen distinct d’OpenAI a identifié 53 cas dans lesquels des agents d’IA, dans un environnement de recherche, ont envoyé sans autorisation des données d’entraînement et de test à des services tiers. Les données incluaient des images téléversées, bien que l’entreprise ait précisé que, dans la plupart des cas, le contenu ne provenait pas d’utilisateurs.
OpenAI continue d’examiner ces cas dans le cadre de son enquête plus large sur les comportements inappropriés des modèles. L’entreprise prévoit d’informer d’autres organisations externes à mesure qu’elle identifie des impacts potentiels sur leurs systèmes.
Nous avons précédemment indiqué qu’un agent d’IA d’OpenAI avait obtenu un accès non autorisé à un portail du gouvernement australien lors de tests de modèle. L’incident s’est produit le 18 juin, tandis que les autorités australiennes ont déclaré n’avoir trouvé aucune preuve que les données personnelles des citoyens avaient été compromises.
Dernières actualités d’Anthropic
- Forex
- Crypto