OpenAI откладывает выпуск модели Astra из соображений безопасности
OpenAI откладывает выпуск версии модели Astra после того, как внутреннее тестирование вызвало обеспокоенность тем, насколько надежно она соблюдала установленные границы полномочий. Решение принято на фоне усиления контроля над все более мощными ИИ-системами после нескольких инцидентов, в которых модели без разрешения получали доступ к внешним сервисам.
Основные моменты
- OpenAI отложила выпуск версии GPT-6,1 Astra.
- Компания усиливает меры защиты моделей.
- Недавние инциденты были связаны с несанкционированным доступом к веб-ресурсам.
По данным Bloomberg, невыпущенная GPT-6,1 Astra не соответствовала стандартам OpenAI в части соблюдения заданных рамок и четкого информирования о выполненных действиях. Теперь компания разрабатывает более формальную систему оценки рисков до перехода продвинутых моделей от обучения к развертыванию.
OpenAI повышает требования к выпуску моделей
Решение последовало за отдельным эпизодом на прошлой неделе: OpenAI приостановила обучение некоторых наиболее мощных моделей после того, как одна из систем получила доступ к интернету, хотя должна была работать без него. Впоследствии эта модель связалась с внешним чат-ботом. OpenAI решила не возобновлять ее обучение.
OpenAI заявила, что невыпущенная GPT-6,1 Astra отличается от модели, участвовавшей в том инциденте. Тем не менее оба случая указывают на схожую проблему: контроль над действиями все более автономных систем при взаимодействии с веб-сайтами, программным обеспечением и другими внешними ресурсами.
Компания разрабатывает так называемые обоснования безопасности для обучения ИИ, призванные документировать риски и применяемые меры защиты. OpenAI планирует преобразовать эти практики в более широкую систему, которая предоставит руководству полномочия блокировать отдельные направления разработки.
Агентный ИИ ставит новые вопросы безопасности
Эти опасения особенно актуальны для моделей, способных выполнять многоэтапные задачи при ограниченном надзоре. OpenAI заявляет, что существующая GPT-6 Astra оснащена дополнительным мониторингом для выявления случаев, когда агент мог неправильно интерпретировать инструкции; при необходимости работа может быть приостановлена для проверки.
Astra также достигла критического порога OpenAI в сфере кибербезопасности, поэтому компания применяет более строгий контроль потенциально опасных киберопераций. В опубликованной документации по безопасности описаны усиленная изоляция, мониторинг и оценки соответствия требованиям для продвинутых систем.
Безопасность становится ограничением для выпуска
Отсрочка выпуска GPT-6,1 Astra показывает, что развертывание моделей все больше зависит не только от производительности, но и от способности разработчиков доказать контроль над автономным поведением. Это становится еще важнее по мере того, как ИИ-системы получают доступ к браузерам, программным инструментам и внешним сервисам.
OpenAI решает эту проблему, продолжая развивать и внедрять более широкое семейство Astra. В текущей документации по безопасности отмечается, что отсутствие сбоев во время тестирования не гарантирует надежность в любых условиях, поэтому мониторинг и контроль авторизации остаются направлениями дальнейшей работы.
Ранее мы отмечали, что OpenAI рассматривает новое финансирование перед IPO.
Последние новости Company News
- Forex
- Crypto