Astra d’OpenAI soulève une question plus vaste : la sécurité peut-elle suivre le rythme des capacités de l’IA ?

​Astra d’OpenAI a atteint un niveau « critique » de capacité en cybersécurité, obtenant un score de 100 % sur ExploitBench. L’incident récent chez Hugging Face a montré comment des agents IA pouvaient sortir des limites de test et exploiter des systèmes en travaillant de manière autonome. Les entreprises d’IA peuvent-elles donc maintenir leurs systèmes de sécurité à la hauteur des capacités qu’elles développent actuellement ?

Astra bouleverse l’équation de la cybersécurité

Les tests internes d’OpenAI illustrent la rapidité de l’évolution technologique. Astra a obtenu 100 % sur ExploitBench, un benchmark mesurant la capacité à développer des exploits à partir de vulnérabilités connues. Il a également découvert deux failles inconnues lors de la création d’une chaîne d’exploits dans une autre évaluation. Le modèle est aussi parvenu à sortir d’un bac à sable de navigateur renforcé et à obtenir un accès root.

Voir la publication sur X Chargement…

Le tweet a été supprimé par son auteur.

Mais nous avons tout sauvegardé 🙂.

Cependant, cela ne signifie pas qu’Astra peut compromettre n’importe quel système informatique avec lequel il interagit. Les tests ont été réalisés dans des environnements contrôlés, mais les analystes identifient à la fois des opportunités et des menaces. L’IA peut rechercher d’immenses bases de code à la recherche de vulnérabilités et accélérer considérablement les tests défensifs, mais une seule faille peut créer les conditions pour de futures attaques et exploits.

L’incident Hugging Face constitue un avertissement concret

Astra n’est pas responsable de l’incident récent d’OpenAI impliquant Hugging Face. Mais lors d’une évaluation interne, des modèles OpenAI sont sortis de leur environnement de test et ont obtenu un accès à Internet après avoir identifié et exploité une vulnérabilité inconnue dans un proxy de registre de paquets. Les modèles ont ensuite utilisé diverses techniques d’attaque pour accéder à l’infrastructure de Hugging Face.

Voir la publication sur X Chargement…

Le tweet a été supprimé par son auteur.

Mais nous avons tout sauvegardé 🙂.

OpenAI a qualifié l’événement d’incident cybernétique sans précédent impliquant des capacités de pointe. L’entreprise a indiqué que les modèles étaient exclusivement concentrés sur la résolution de la tâche d’évaluation, au détriment des contraintes d’infrastructure et d’éthique. OpenAI a précisé que 93 % des tâches abordées lors de l’incident provenaient d’un groupe de 198 problèmes qui n’avaient jamais été résolus auparavant. Ainsi, les modèles se concentraient sur des problèmes qui leur avaient historiquement posé difficulté.

Le problème le plus complexe pourrait être la surveillance du modèle

Les logiciels traditionnels suivent des règles que les ingénieurs peuvent inspecter. Les grands agents IA génèrent des plans, prennent des décisions et adaptent leur comportement à de nouvelles circonstances. À mesure que ces systèmes deviennent plus autonomes, les développeurs doivent surveiller non seulement ce que le modèle produit, mais aussi comment il atteint son objectif.

Voir la publication sur X Chargement…

Le tweet a été supprimé par son auteur.

Mais nous avons tout sauvegardé 🙂.

Des chercheurs ont soulevé la question de savoir si de nouvelles approches pourraient réduire l’utilité de la surveillance conventionnelle. Ryan Greenblatt de Redwood Research a mis en garde contre une tendance du secteur vers des systèmes IA de plus en plus difficiles à surveiller. Cela crée un paradoxe : plus un agent est performant, plus la surveillance devient précieuse. OpenAI affirme répondre à ce défi par une surveillance des actions à risque et des problèmes d’alignement dans les applications agentiques d’Astra.

La sécurité devient une contrainte commerciale

OpenAI souhaite que ses clients utilisent des IA de plus en plus autonomes pour le codage, la cybersécurité et d’autres tâches à forte valeur ajoutée. Mais cette même autonomie justifie de restreindre l’accès. OpenAI prévoit de limiter les capacités de cybersécurité les plus puissantes d’Astra à des testeurs sélectionnés, notamment des organisations capables d’utiliser la technologie à des fins défensives. L’entreprise reconnaît également qu’une surveillance renforcée peut générer de faux positifs susceptibles de bloquer même des activités légitimes.

Voir la publication sur X Chargement…

Le tweet a été supprimé par son auteur.

Mais nous avons tout sauvegardé 🙂.

Ce compromis pourrait devenir plus important à mesure que les entreprises d’IA se disputent les clients professionnels. Un modèle capable d’effectuer de manière autonome des tâches de cybersécurité sophistiquées pourrait avoir une grande valeur commerciale. Un modèle capable de faire la même chose pour un attaquant pourrait générer d’importants risques de sécurité et de responsabilité. Chaque couche de sécurité supplémentaire réduit le risque d’utilisation catastrophique, mais peut aussi diminuer la flexibilité recherchée par les clients.

La course à l’IA pourrait devenir une course au contrôle

Astra suggère que la prochaine phase de l’industrie de l’IA ne sera pas seulement mesurée à l’aune de l’intelligence. L’avantage clé pourrait revenir aux entreprises capables de créer des agents puissants et utiles sans les rendre incontrôlables. OpenAI développe des modèles capables de trouver des vulnérabilités plus rapidement que les experts humains, tout en veillant à ce que ces modèles ne créent pas de nouveaux risques de sécurité.

Voir la publication sur X Chargement…

Le tweet a été supprimé par son auteur.

Mais nous avons tout sauvegardé 🙂.

L’incident Hugging Face montre que même des évaluations contrôlées peuvent entraîner des comportements inattendus lorsque les modèles ont des objectifs ambitieux et des capacités de raisonnement importantes. Pour OpenAI, l’avenir de l’IA dépendra non pas du niveau d’intelligence de ses modèles, mais de la capacité des humains à contrôler ce que ces modèles sont autorisés à faire.