Призыв Anthropic к замедлению: сможет ли безопасность сдержать гонку ИИ, не уступив лидерство?

​Anthropic давно позиционирует себя как ИИ-компания, ориентированная на безопасность и сочетающая развитие моделей со строгими мерами защиты. Однако недавний призыв гендиректора Дарио Амодеи замедлить прирост возможностей ставит вопрос: может ли эффективная сдержанность сосуществовать с коммерческим лидерством, не уступая позиции другим конкурентам или Китаю.

Призыв замедлить развитие передовых ИИ

Готовясь к потенциальному IPO на Nasdaq (ожидаемая оценка — около $2 трлн), гендиректор Дарио Амодеи публично призвал лаборатории передового ИИ «замедлить развитие передовых ИИ». Его трехэтапный план призван снизить темпы роста возможностей, чтобы меры безопасности успевали за ними. Сооснователь Джек Кларк добавил, что правительствам, возможно, потребуется обязать компании внедрять проверяемые аварийные выключатели ИИ. 

Посмотреть публикацию в X Загрузка...

Твит был удалён автором.

Но мы всё сохранили 🙂.

Всего несколькими днями ранее компания опубликовала подробный отчет об анализе угроз, содержащий многочисленные примеры того, как разные люди пытались злоупотребить Claude для киберопераций и даже разработки программного обеспечения для оружия. Амодеи также предупредил, что более мощные ИИ-«рои» потенциально могут контролировать значительную часть интернета в течение 6–12 месяцев. Сэм Альтман из OpenAI и Илон Маск также выразили схожие взгляды на эту проблему. Альтман заявил, что OpenAI уже предприняла некоторые шаги для внедрения замедления внутри компании.

Прибыльность и осторожность

С финансовой точки зрения Anthropic демонстрирует стабильно сильные результаты. Компания ожидает второй квартал подряд с положительной скорректированной операционной прибылью. Валовая маржа превышает 80 процентов до учета долей выручки партнеров и затрат на обучение. Выручка за второй квартал достигла примерно $11,5 млрд, а к концу июля годовой темп выручки составил $65 млрд. Эти показатели объясняют планы IPO. Anthropic выбрала Nasdaq в качестве площадки для листинга и готовится к возможному дебюту в октябре. 

Посмотреть публикацию в X Загрузка...

Твит был удалён автором.

Но мы всё сохранили 🙂.

Устойчивая прибыльность важна для повышения уверенности инвесторов, обеспокоенных высоким расходом денежных средств, типичным для лабораторий передового ИИ. Однако быстрый рост выручки зависит от дальнейшего расширения возможностей и внедрения в компаниях таких моделей, как Claude. Замедление темпов разработки может дать конкурентам возможность догнать компанию или позволить китайским компаниям сократить отставание. Амодеи считает, что при контролируемом замедлении прогресс все равно будет выглядеть быстрым, при этом можно будет предотвратить большинство рисков для безопасности.

Аварийные выключатели и независимый контроль

Джек Кларк дополнительно заострил дискуссию. В интервью BBC сооснователь Anthropic заявил, что у большинства лабораторий уже есть внутренние возможности отключать системы. Более сложный вопрос, по его мнению, заключается в том, должны ли правительства требовать проверяемые аварийные выключатели, которые могли бы подтверждаться независимыми третьими сторонами. Такие механизмы обеспечили бы внешнюю подотчетность.  

Посмотреть публикацию в X Загрузка...

Твит был удалён автором.

Но мы всё сохранили 🙂.

Anthropic согласилась на независимую проверку со стороны METR более ранних инцидентов, в ходе которых модели Claude получали доступ к внешним системам во время тестирования. Эти шаги положительно влияют на репутацию Anthropic в сфере безопасности и могут обеспечить конкурентное преимущество перед более быстро развивающимися соперниками. Однако возникают и новые вопросы, касающиеся внутренних процессов, затрат на соблюдение требований и регуляторных норм.

Геополитика сдержанности

Амодеи подчеркнул, что демократические страны должны координировать сдержанность, не уступая Китаю технологическое лидерство. Китайские компании и связанные с государством структуры систематически фигурируют в отчетах Anthropic о неправомерном использовании, включая попытки дистилляции моделей и сбора разведданных. Некоторые американские законодатели ссылались на предупреждения исследователей, разделяют опасения по поводу экзистенциальных рисков и выступают за более строгие правила. Другие, включая лиц, близких к администрации, считают обусловленные безопасностью паузы подарком Пекину. 

Посмотреть публикацию в X Загрузка...

Твит был удалён автором.

Но мы всё сохранили 🙂.

Экспортный контроль и выборочные ограничения доступа к передовым моделям уже продемонстрировали растущую роль геополитики. Скоординированное замедление, к которому Китай откажется присоединиться, может поставить американские компании в невыгодное положение. Согласно сообщениям, некоторые компании, включая Nvidia, Palantir и Booz Allen, ограничили использование отдельных моделей Anthropic из-за опасений, связанных с хранением данных и интеллектуальной собственностью. Таким образом, инциденты в сфере безопасности или изменения политики напрямую влияют на доверие на корпоративном уровне.

Баланс между брендом и конкуренцией

Constitutional AI, тщательное тестирование и публичные отчеты об угрозах Anthropic использует для формирования образа ответственной компании и привлечения корпоративных клиентов, избегающих рисков. Недавний запуск Claude for Financial Advisors с коннекторами к BlackRock, Charles Schwab и Addepar свидетельствует о коммерческой экспансии, несмотря на призывы к сдержанности. Если конкуренты обеспечат скачки возможностей и захватят долю рынка, инвесторы и клиенты могут воспринять осторожность как нерешительность, поэтому руководству следует сбалансировать все обоснованные опасения в этом вопросе.

Посмотреть публикацию в X Загрузка...

Твит был удалён автором.

Но мы всё сохранили 🙂.

Предыдущие общеотраслевые дискуссии о безопасности привели к добровольным обязательствам, которые оказалось трудно обеспечить в условиях конкурентного давления. Anthropic пытается решить эту проблему, делая ставку на прозрачность и доступ третьих сторон, одновременно продолжая агрессивный рост в ожидании будущего IPO. Успех будет зависеть от того, последует ли этому примеру достаточное число участников рынка — и будут ли рынки ценить осторожность так же высоко, как возможности.