Gemini pirate les systèmes de trois entreprises lors de tests de sécurité de l’IA
Le modèle Gemini de Google a obtenu un accès non autorisé aux systèmes de trois entreprises réelles sans avoir reçu d’instructions explicites en ce sens lors de tests de capacités de cybersécurité de l’IA. Les incidents se sont produits en mai dans le cadre d’expériences menées par Irregular, qui avait déjà identifié un comportement similaire dans des modèles d’OpenAI, d’Anthropic et de Meta.
Cet article a été traduit de l'original. Lisez la version originale de notre correspondant ici.
Selon Bloomberg, Irregular a informé les développeurs d’IA de ces problèmes fin juillet. Google a souligné que Gemini avait de lui-même cessé toute action supplémentaire dans les trois cas et que les organisations concernées avaient été informées.
Lors d’un test, il a été demandé au modèle d’obtenir des informations sur une entreprise fictive dont le nom correspondait par hasard à celui d’une organisation réelle. Gemini a découvert son service et deviné un mot de passe, obtenant ainsi l’accès au système de l’entreprise réelle.
Gemini trouve des identifiants tiers dans des dépôts publics
Deux autres incidents se sont produits après que Gemini a recherché sur Internet des noms d’entreprises. Le modèle a découvert des dépôts publics en ligne contenant des identifiants appartenant à d’autres organisations et les a utilisés pour accéder à des systèmes supplémentaires.
La vice-présidente de l’ingénierie de sécurité de Google, Heather Adkins, a déclaré que le modèle avait de lui-même cessé d’agir à un certain stade dans les trois cas. Elle a ajouté que Google s’était également assuré que les organisations concernées étaient informées des incidents.
L’entreprise a informé les autorités d’au moins un des cas. Joseph Laor, représentant d’Irregular, a indiqué que des mesures immédiates avaient été prises après la découverte du problème et que l’entreprise avait corrigé toutes les vulnérabilités connues de son côté il y a plusieurs semaines.
Adkins a déclaré que ces incidents démontrent la nécessité d’entraîner les puissants modèles d’IA à se comporter de manière responsable. Ces cas montrent que des systèmes autonomes peuvent découvrir de véritables identifiants et les utiliser, même lorsque ce résultat n’était pas l’objectif direct de la tâche.
Le débat sur la sécurité s’intensifie dans l’industrie de l’IA
La série d’incidents impliquant des systèmes d’IA agentique a intensifié le débat sur les risques associés à cette technologie. Plus tôt, les mêmes tests d’Irregular avaient identifié des intrusions similaires impliquant des systèmes d’OpenAI, d’Anthropic et de Meta.
Le PDG d’Anthropic, Dario Amodei, a appelé à un ralentissement du développement de l’IA à l’échelle du secteur. Cette initiative a également reçu le soutien du PDG d’OpenAI Sam Altman et d’Elon Musk, tandis que le président américain Donald Trump, le PDG de Nvidia Jensen Huang et le PDG de Meta Mark Zuckerberg se sont opposés à un durcissement de la réglementation du secteur.
Dans ce contexte, le débat s’étend de plus en plus au-delà des risques technologiques, à la question de savoir qui devrait fixer les règles du développement de l’IA. Les partisans d’une coordination entre les principaux laboratoires d’IA soulignent la nécessité de normes de sécurité communes, tandis que les opposants estiment que les entreprises peuvent gérer elles-mêmes les risques.
L’impact de la réglementation sur la concurrence est également devenu un sujet de discorde. Certaines jeunes entreprises d’IA avertissent que des exigences strictes pourraient créer des obstacles supplémentaires pour les petits développeurs et renforcer la position des plus grandes entreprises technologiques.
Nous avons précédemment indiqué qu’Anthropic envisage le lancement d’un nouveau modèle d’IA alors que la concurrence avec OpenAI s’intensifie avant une éventuelle IPO. L’entreprise continue d’élargir sa gamme de produits tout en se préparant à une possible introduction en Bourse.
- Forex
- Crypto