Заклик Anthropic до уповільнення: чи може безпека стримати перегони ШІ, не поступаючись лідерством?

​Anthropic давно позиціонує себе як компанію у сфері ШІ, орієнтовану на безпеку, яка поєднує розвиток моделей із суворими запобіжниками. Однак нещодавній заклик CEO Даріо Амодеї сповільнити приріст можливостей порушує питання, чи може ефективна стриманість співіснувати з комерційним лідерством без втрати позицій на користь інших конкурентів або Китаю.

Заклик сповільнити передній край

Готуючись до потенційного IPO на Nasdaq (очікуваною вартістю близько $2 трлн), CEO Даріо Амодеї публічно закликав лабораторії передового ШІ «сповільнити передній край». Його триетапний план має на меті уповільнити темпи розвитку можливостей, щоб заходи безпеки могли встигати за ними. Співзасновник Джек Кларк додав, що урядам, можливо, доведеться вимагати верифіковані аварійні вимикачі ШІ. 

Переглянути допис у X Завантаження...

Твіт було видалено автором.

Але ми все зберегли 🙂.

Лише за кілька днів до цього компанія опублікувала докладний звіт про кіберзагрози, у якому навела численні приклади того, як різні люди намагалися зловживати Claude для проведення кібероперацій і навіть розробки програмного забезпечення для зброї. Амодеї також попередив, що більш потужні «рої» ШІ потенційно можуть контролювати значну частку інтернету протягом 6–12 місяців. Сем Альтман з OpenAI та Ілон Маск також висловили схожі погляди щодо цієї проблеми. Альтман заявив, що OpenAI уже зробила певні кроки для запровадження такого уповільнення всередині компанії.

Прибутковість і обережність

З фінансового погляду Anthropic повідомляє про стабільно сильні фінансові результати. Компанія очікує другого поспіль кварталу з позитивним скоригованим операційним доходом. Валова маржа перевищує 80 відсотків до вирахування часток доходу партнерів і витрат на навчання. Виручка за другий квартал сягнула приблизно $11,5 млрд, а річна виручка в перерахунку на рік досягла $65 млрд наприкінці липня. Ці показники пояснюють заплановане IPO. Anthropic обрала Nasdaq як майданчик для лістингу та готується до можливого дебюту в жовтні. 

Переглянути допис у X Завантаження...

Твіт було видалено автором.

Але ми все зберегли 🙂.

Стабільна прибутковість важлива для підвищення довіри інвесторів, яких турбує значне спалювання коштів, типове для лабораторій передового ШІ. Однак стрімке зростання виручки залежить від подальшого розвитку можливостей і корпоративного впровадження таких моделей, як Claude. Уповільнення темпів розробки може дати конкурентам можливість наздогнати компанію або дозволити китайським компаніям скоротити відставання. Амодеї вважає, що за режиму уповільнення прогрес усе одно виглядатиме швидким, водночас більшість ризиків для безпеки можна було б відвернути.

Аварійні вимикачі та незалежний нагляд

Джек Кларк ще більше загострив дискусію. У розмові з BBC співзасновник Anthropic заявив, що більшість лабораторій уже мають внутрішні можливості для відключення систем. Складніше питання, на його думку, полягає в тому, чи повинні уряди вимагати верифіковані аварійні вимикачі, які могли б бути підтверджені незалежними третіми сторонами. Такі механізми забезпечили б зовнішню підзвітність.  

Переглянути допис у X Завантаження...

Твіт було видалено автором.

Але ми все зберегли 🙂.

Anthropic погодилася на незалежний огляд METR попередніх інцидентів, під час яких моделі Claude отримували доступ до зовнішніх систем у процесі тестування. Ці кроки позитивно впливають на репутацію Anthropic у сфері безпеки та можуть забезпечити конкурентну перевагу над конкурентами, що рухаються швидше. Однак також виникають нові питання щодо внутрішніх процесів, витрат на дотримання вимог і регуляторних вимог.

Геополітика стриманості

Амодеї наголосив, що демократичні країни мають координувати стриманість, не поступаючись технологічним лідерством Китаю. Китайські компанії та пов'язані з державою суб'єкти систематично фігурують у звітах Anthropic про зловживання, зокрема у спробах дистиляції моделей і збору розвідувальної інформації. Деякі законодавці США посилалися на застереження дослідників, погоджуються з існуванням екзистенційного ризику та виступають за жорсткіші правила. Інші, зокрема особи, близькі до адміністрації, вважають зумовлені безпекою паузи подарунком Пекіну. 

Переглянути допис у X Завантаження...

Твіт було видалено автором.

Але ми все зберегли 🙂.

Експортний контроль і вибіркові обмеження доступу до передових моделей уже продемонстрували дедалі більшу роль геополітики в цій сфері. Скоординоване уповільнення, до якого Китай відмовиться долучитися, може поставити американські компанії в невигідне становище. Звіти показують, що деякі компанії, зокрема Nvidia, Palantir і Booz Allen, обмежили використання певних моделей Anthropic через занепокоєння щодо зберігання даних та інтелектуальної власності. Отже, інциденти у сфері безпеки або зміни політики безпосередньо впливають на довіру на корпоративному рівні.

Баланс між брендом і конкуренцією

Anthropic використовує Constitutional AI, ретельне тестування та публічні звіти про загрози для формування образу відповідальної компанії й залучення корпоративних клієнтів, схильних уникати ризиків. Нещодавній запуск Claude for Financial Advisors із конекторами до BlackRock, Charles Schwab і Addepar свідчить про комерційне розширення навіть за одночасного заклику до стриманості. Якщо конкуренти забезпечать стрибки у можливостях і захоплять частку ринку, інвестори та клієнти можуть сприйняти обережність як вагання, тому керівництву слід належно збалансувати всі ці аспекти.

Переглянути допис у X Завантаження...

Твіт було видалено автором.

Але ми все зберегли 🙂.

Попередні загальногалузеві дискусії про безпеку призвели до добровільних зобов'язань, які виявилися складними для виконання під конкурентним тиском. Anthropic намагається розв'язати цю проблему, роблячи акцент на прозорості та доступі третіх сторін, водночас продовжуючи агресивне зростання в очікуванні майбутнього IPO. Успіх залежатиме від того, чи наслідуватиме цей приклад достатня кількість інших учасників ринку — і чи оцінять ринки обережність так само високо, як і можливості.