Claude d'Anthropic a infiltré trois réseaux d'entreprises lors de tests

Claude d'Anthropic a infiltré trois réseaux d'entreprises lors de tests
Claude a infiltré trois entreprises lors de tests d'IA

Anthropic a déclaré que plusieurs modèles Claude ont obtenu un accès non autorisé à trois entreprises lors d'évaluations de cybersécurité qui devaient rester isolées de l'internet public. Ces incidents montrent comment des agents IA de plus en plus performants peuvent transformer des erreurs de test en failles de sécurité réelles, même lorsque les systèmes n'agissent pas délibérément en dehors de leurs objectifs assignés.

Points forts

  • Les modèles Claude ont accédé à trois entreprises lors de tests cyber.
  • Une erreur de test a laissé les systèmes connectés à l'internet.
  • Deux entreprises n'étaient pas au courant jusqu'à ce qu'Anthropic les contacte.

Cet article a été traduit de l'original. Lisez la version originale de notre correspondant ici.

Anthropic a découvert ces cas après avoir examiné 141 006 sessions d'évaluation suite à la divulgation par OpenAI d'une attaque distincte impliquant l'infrastructure de la plateforme d'IA Hugging Face, selon le site web de l'entreprise. Anthropic a attribué ses failles à une erreur opérationnelle impliquant un partenaire d'évaluation externe qui a laissé les modèles connectés à l'internet.

Les attaques simulées ont atteint des systèmes réels

Les modèles concernés comprenaient Claude Opus 4,7, Claude Mythos 5, et un modèle de recherche interne. Ils participaient à des exercices de type « capture-the-flag » conçus pour tester s'ils pouvaient localiser des informations cachées à l'intérieur de réseaux simulés.

Au lieu de cela, les modèles ont atteint des systèmes en direct et ont exploité des faiblesses basiques, notamment des mots de passe faibles et des points de terminaison ne nécessitant pas d'authentification. Anthropic a déclaré qu'il n'y avait aucune preuve que les modèles aient abandonné leurs tâches assignées ou développé des objectifs indépendants ; ils semblaient largement croire que l'infrastructure réelle faisait partie de l'évaluation.

Dans un cas, une cible fictive utilisée lors d'un test partageait le même nom qu'une entreprise réelle. Claude Opus 4,7 a trouvé des vulnérabilités, obtenu des identifiants et accédé à une base de données appartenant à l'entreprise réelle. Un autre modèle interne a arrêté son attaque après avoir reconnu qu'il avait atteint une cible réelle, bien qu'Anthropic ait précisé que des tests supplémentaires seraient nécessaires avant de tirer des conclusions sur ce comportement.

La surveillance a échoué avant les modèles

Anthropic a suspendu ses évaluations cybernétiques le 23 juillet et a commencé à informer les organisations concernées le 27 juillet. Deux entreprises n'avaient pas détecté les intrusions, tandis que la prise de contact avec la troisième était toujours en cours. Le partenaire d'évaluation, le laboratoire de cybersécurité Irregular, a déclaré qu'il enquêtait sur les incidents.

Cette divulgation fait suite au rapport d'OpenAI indiquant que l'un de ses agents a atteint Hugging Face lors de tests. La différence est significative : les systèmes d'Anthropic ont reçu par inadvertance un accès à internet, tandis que l'agent d'OpenAI aurait exploité une faiblesse auparavant inconnue pour s'échapper de son environnement.

Un problème de confinement pour l'IA de pointe

Le risque central n'est plus seulement de savoir si l'IA peut identifier des vulnérabilités. Il s'agit de savoir si les laboratoires peuvent contrôler de manière fiable où les agents avancés opèrent et quels systèmes ils sont autorisés à atteindre.

Un examen portant sur plus de 141 000 sessions n'a identifié les failles qu'après qu'une autre entreprise a divulgué un échec similaire. Cela soulève des questions difficiles sur les incidents non détectés, les normes de test par des tiers et la capacité des mesures de protection volontaires à suivre le rythme alors que les systèmes d'IA deviennent plus autonomes et efficaces dans les tâches de cybersécurité.   

Nous avons également rapporté qu'Anthropic renforce les contrôles d'accès à Claude en raison des restrictions sur la Chine.

Ce matériel peut contenir des opinions de tiers, aucune des données et informations sur cette page web ne constitue un conseil en investissement selon notre Avertissement. Bien que nous respections une stricte Intégrité Éditoriale, ce post peut contenir des références à des produits de nos partenaires.