Anthropic предупреждает о рисках самосовершенствующегося ИИ
Американская ИИ-компания Anthropic предупредила, что развитие искусственного интеллекта ускоряется настолько быстро, что уже в ближайшем будущем ИИ-агенты могут самостоятельно создавать, обучать и улучшать новые системы без участия человека. На этом фоне компания призвала замедлить темпы разработки нейросетей.
В опубликованном блоге глава Anthropic Institute Марина Фаваро и сооснователь Anthropic Джек Кларк заявили, что ИИ-агенты уже способны самостоятельно запускать код, передавать другим агентам задачи на несколько часов работы и постепенно приближаются к моменту, когда смогут взять на себя весь цикл разработки.
«На протяжении большей части истории ИИ люди контролировали каждый этап его разработки. Но в Anthropic мы передаем все большую долю разработки ИИ самим ИИ-системам, что ускоряет нашу работу», — заявили они.
По словам Фаваро и Кларка, если эта тенденция продолжится и системы получат достаточно вычислительных мощностей, в перспективе может появиться ИИ, способный полностью автономно проектировать и разрабатывать своего преемника.
Акцент на безопасности
Рост таких возможностей вызывает опасения по поводу сценария, при котором ИИ сможет становиться умнее самостоятельно. В декабре OpenAI сообщила, что изучает безопасные способы разработки и внедрения все более продвинутых ИИ-систем, включая модели, способные к рекурсивному самосовершенствованию.
В OpenAI заявили, что хотят добиться того, чтобы такие системы стабильно следовали намерениям человека в сложных реальных сценариях и в условиях противодействия, избегали катастрофического поведения, оставались контролируемыми, поддавались аудиту и соответствовали человеческим ценностям.
Они добавили, что когда качество кода, написанного человеком и ИИ, сравняется, люди могут полностью перестать писать код и перейти только к его проверке. Однако если они не смогут проверять код так же быстро, как Claude его генерирует, человеческая проверка станет главным узким местом в развитии ИИ.
Зачем замедлять развитие ИИ
Фаваро и Кларк также заявили, что идеальным сценарием было бы замедление разработки, чтобы у общества появилось больше времени на осмысление «огромных» последствий этой технологии.
В апреле Anthropic отказалась выпускать в открытый доступ свою ИИ-модель Claude Mythos из-за опасений, связанных с угрозами глобальной кибербезопасности. Модель могла легко создавать программные эксплойты, поэтому компания решила пока не делать ее публичной.
В тот же день группа технологических лидеров, в том числе представители Anthropic и OpenAI, опубликовала открытое письмо с призывом к законодателям ввести более жесткие ограничения для ИИ. Авторы письма предупредили, что технология может помочь злоумышленникам преодолеть «барьеры знаний», которые ранее мешали им создавать биологическое оружие.
При этом они подчеркнули, что простое замедление может создать новые риски, если оно позволит менее осторожным игрокам догнать лидеров технологически. Без глобального механизма координации компании и правительства будут вынуждены принимать сложные решения о безопасности под давлением конкуренции и геополитики.
В чем ценность Claude
Главный продукт Anthropic — ИИ-ассистент Claude. Это семейство языковых моделей, созданных для работы с текстом, кодом, данными и сложными задачами, где важны не только скорость ответа, но и безопасность, управляемость и надежность. Claude используют как универсального помощника: он может писать и редактировать тексты, анализировать документы, объяснять сложные темы, помогать с программированием, искать ошибки в коде, готовить резюме, письма, отчеты и другие рабочие материалы.
Для бизнеса Claude ценен тем, что способен брать на себя часть рутинной интеллектуальной работы. Его применяют в клиентской поддержке, аналитике, разработке ПО, юридических и финансовых процессах, маркетинге и внутренних корпоративных инструментах. Компании используют Claude как чат-ассистента, API для интеграции в свои продукты и инструмент для автоматизации задач, где нужно быстро обрабатывать большие объемы информации и получать понятные ответы на естественном языке.
Напомним, Claude помог восстановить пароль от кошелька с 5 биткоинами.
Последние новости Anthropic
- Forex
- Crypto