Anthropic попереджає про ризики самовдосконалюваного ШІ
Американська ШІ-компанія Anthropic попередила, що розвиток штучного інтелекту прискорюється настільки швидко, що вже найближчим часом ШІ-агенти можуть самостійно створювати, навчати й покращувати нові системи без участі людини. На цьому тлі компанія закликала сповільнити темпи розробки нейромереж.
В опублікованому блозі очільниця Anthropic Institute Марина Фаваро та співзасновник Anthropic Джек Кларк заявили, що ШІ-агенти вже здатні самостійно запускати код, передавати іншим агентам завдання на кілька годин роботи й поступово наближаються до моменту, коли зможуть взяти на себе весь цикл розробки.
«Протягом більшої частини історії ШІ люди контролювали кожен етап його розробки. Але в Anthropic ми передаємо дедалі більшу частку розробки ШІ самим ШІ-системам, що прискорює нашу роботу», — заявили вони.
За словами Фаваро і Кларка, якщо ця тенденція продовжиться й системи отримають достатньо обчислювальних потужностей, у перспективі може з’явитися ШІ, здатний повністю автономно проєктувати та розробляти свого наступника.
Акцент на безпеці
Зростання таких можливостей викликає занепокоєння щодо сценарію, за якого ШІ зможе ставати розумнішим самостійно. У грудні OpenAI повідомила, що вивчає безпечні способи розробки та впровадження дедалі просунутіших ШІ-систем, зокрема моделей, здатних до рекурсивного самовдосконалення.
В OpenAI заявили, що хочуть домогтися того, щоб такі системи стабільно дотримувалися намірів людини у складних реальних сценаріях і в умовах протидії, уникали катастрофічної поведінки, залишалися контрольованими, піддавалися аудиту й відповідали людським цінностям.
Вони додали, що коли якість коду, написаного людиною та ШІ, зрівняється, люди можуть повністю перестати писати код і перейти лише до його перевірки. Однак якщо вони не зможуть перевіряти код так само швидко, як Claude його генерує, людська перевірка стане головним вузьким місцем у розвитку ШІ.
Навіщо сповільнювати розвиток ШІ
Фаваро і Кларк також заявили, що ідеальним сценарієм було б сповільнення розробки, щоб у суспільства з’явилося більше часу на осмислення «величезних» наслідків цієї технології.
У квітні Anthropic відмовилася випускати у відкритий доступ свою ШІ-модель Claude Mythos через побоювання, пов’язані із загрозами глобальній кібербезпеці. Модель могла легко створювати програмні експлойти, тому компанія вирішила поки не робити її публічною.
Того ж дня група технологічних лідерів, зокрема представники Anthropic і OpenAI, опублікувала відкритий лист із закликом до законодавців запровадити жорсткіші обмеження для ШІ. Автори листа попередили, що технологія може допомогти зловмисникам подолати «бар’єри знань», які раніше заважали їм створювати біологічну зброю.
Водночас вони наголосили, що просте сповільнення може створити нові ризики, якщо дозволить менш обережним гравцям технологічно наздогнати лідерів. Без глобального механізму координації компанії та уряди будуть змушені ухвалювати складні рішення щодо безпеки під тиском конкуренції та геополітики.
У чому цінність Claude
Головний продукт Anthropic — ШІ-асистент Claude. Це сімейство мовних моделей, створених для роботи з текстом, кодом, даними та складними завданнями, де важливі не лише швидкість відповіді, а й безпека, керованість і надійність. Claude використовують як універсального помічника: він може писати й редагувати тексти, аналізувати документи, пояснювати складні теми, допомагати з програмуванням, шукати помилки в коді, готувати резюме, листи, звіти та інші робочі матеріали.
Для бізнесу Claude цінний тим, що здатен брати на себе частину рутинної інтелектуальної роботи. Його застосовують у клієнтській підтримці, аналітиці, розробці ПЗ, юридичних і фінансових процесах, маркетингу та внутрішніх корпоративних інструментах. Компанії використовують Claude як чат-асистента, API для інтеграції у свої продукти й інструмент для автоматизації завдань, де потрібно швидко обробляти великі обсяги інформації та отримувати зрозумілі відповіді природною мовою.
Нагадаємо, Claude допоміг відновити пароль від гаманця з 5 біткоїнами.
Найсвіжіші новини Anthropic
- Forex
- Crypto