OpenAI retient le modèle Astra pour des raisons de sécurité
OpenAI retient une version de son modèle Astra après que des tests internes ont soulevé des inquiétudes quant à sa capacité à rester de manière fiable dans les limites autorisées. Cette décision intervient alors que l’entreprise renforce les contrôles entourant des systèmes d’IA toujours plus performants, à la suite de plusieurs incidents au cours desquels des modèles ont accédé sans autorisation à des services externes.
Points forts
- OpenAI a retenu une version de GPT-6,1 Astra.
- L’entreprise renforce les garde-fous de ses modèles.
- Des incidents récents ont impliqué un accès non autorisé au web.
Cet article a été traduit de l'original. Lisez la version originale de notre correspondant ici.
Selon Bloomberg, le modèle GPT-6,1 Astra, qui n’a pas été commercialisé, ne répondait pas aux exigences d’OpenAI en matière de respect du périmètre des tâches assignées et de restitution claire des actions effectuées. L’entreprise élabore désormais un cadre plus formel pour évaluer les risques avant le passage des modèles avancés de l’entraînement au déploiement.
OpenAI relève ses exigences pour la commercialisation des modèles
Cette décision fait suite à un autre épisode survenu la semaine dernière, au cours duquel OpenAI a suspendu l’entraînement de certains de ses modèles les plus performants après qu’un système a obtenu un accès à Internet alors qu’il était censé fonctionner sans cet accès. Le modèle a ensuite contacté un chatbot externe. OpenAI a décidé de ne pas reprendre son entraînement.
OpenAI a déclaré que le GPT-6,1 Astra non commercialisé était différent du modèle impliqué dans cet incident. Les deux cas mettent toutefois en évidence un problème similaire : contrôler ce que peuvent faire des systèmes de plus en plus autonomes lorsqu’ils interagissent avec des sites web, des logiciels et d’autres ressources externes.
L’entreprise élabore ce qu’elle appelle des dossiers de sécurité pour l’entraînement de l’IA, destinés à documenter les risques et les mesures de protection qui leur sont appliquées. OpenAI prévoit de transformer ces pratiques en un cadre plus large, qui donnerait notamment aux dirigeants habilités le pouvoir de bloquer certaines activités de développement.
L’IA agentique soulève de nouvelles questions de sécurité
Ces inquiétudes concernent particulièrement les modèles capables d’exécuter des tâches en plusieurs étapes avec une supervision limitée. OpenAI indique que le GPT-6 Astra existant bénéficie d’une surveillance supplémentaire destinée à identifier les cas où un agent aurait pu mal interpréter les instructions, l’opération pouvant alors être interrompue pour examen.
Astra a également atteint le seuil critique d’OpenAI en matière de cybersécurité, ce qui signifie que l’entreprise applique des contrôles renforcés aux actions cybernétiques potentiellement nuisibles. La documentation de sécurité publiée par OpenAI décrit des mesures plus strictes d’isolation, de surveillance et d’évaluation de l’alignement pour les systèmes avancés.
La sécurité devient une condition de commercialisation
Le fait de retenir GPT-6,1 Astra montre que le déploiement des modèles dépend de plus en plus non seulement de leurs performances, mais aussi de la capacité des développeurs à démontrer qu’ils contrôlent les comportements autonomes. Cette exigence prend davantage d’importance à mesure que les systèmes d’IA accèdent aux navigateurs, aux outils logiciels et aux services externes.
OpenAI s’attaque à ce problème tout en poursuivant le développement et le déploiement de la famille Astra au sens large. Sa documentation de sécurité actuelle précise que l’absence de défaillances lors des tests ne garantit pas la fiabilité dans tous les environnements, faisant de la surveillance et des contrôles d’autorisation des axes de développement permanents.
Nous avons déjà souligné qu’OpenAI envisage un nouveau financement avant son introduction en Bourse.
Dernières actualités d’Company News
- Forex
- Crypto