Az Anthropic figyelmeztet az önfejlesztő MI kockázataira
Az amerikai székhelyű Anthropic MI-vállalat figyelmeztetett, hogy a mesterséges intelligencia fejlesztése olyan gyorsan felgyorsult, hogy a közeljövőben az MI-ágensek emberi beavatkozás nélkül, önállóan hozhatnak létre, taníthatnak és fejleszthetnek új rendszereket. Ennek fényében a vállalat a neurális hálózatok fejlesztésének lassítására szólított fel.
Ezt a cikket az eredetiből fordítottuk. Olvassa el tudósítónk eredeti változatát itt.
Egy blogbejegyzésben Marina Favaro, az Anthropic Institute vezetője és Jack Clark, az Anthropic társalapítója elmondták, hogy az MI-ágensek már most képesek önállóan kódokat futtatni, többórányi munkát delegálni más ágenseknek, és fokozatosan közelednek ahhoz a ponthoz, ahol a teljes fejlesztési ciklust átvehetik.
„Az MI történetének nagy részében az emberek kontrollálták a fejlesztés minden szakaszát. Az Anthropicnál azonban az MI-fejlesztés egyre nagyobb részét delegáljuk magukra az MI-rendszerekre, ami felgyorsítja a munkánkat” – mondták.
Favaro és Clark szerint, ha ez a trend folytatódik, és a rendszerek elegendő számítási kapacitást kapnak, végül megjelenhet egy olyan MI, amely képes teljesen autonóm módon megtervezni és kifejleszteni saját utódját.
Fókuszban a biztonság
Az ilyen képességek növekedése aggodalmakat vet fel egy olyan forgatókönyvvel kapcsolatban, amelyben az MI önmagától válhat okosabbá. Decemberben az OpenAI közölte, hogy a biztonságos módszereket tanulmányozza az egyre fejlettebb MI-rendszerek fejlesztésére és bevetésére, beleértve a rekurzív önfejlesztésre képes modelleket is.
Az OpenAI kijelentette, hogy azt szeretné, ha az ilyen rendszerek következetesen követnék az emberi szándékot összetett, valós forgatókönyvek és ellenséges körülmények között is, elkerülnék a katasztrofális viselkedést, kontrollálhatóak és auditálhatóak maradnának, valamint összhangban lennének az emberi értékekkel.
Hozzátették, hogy amint az ember által írt és az MI által írt kód minősége eléri az egyensúlyt, az emberek felhagyhatnak a kódírással, és csak annak ellenőrzésére fognak átállni. Ha azonban nem tudják olyan gyorsan ellenőrizni a kódot, mint ahogy a Claude generálja azt, az emberi felülvizsgálat válik az MI-fejlesztés fő szűk keresztmetszetévé.
Miért kell lassítani az MI fejlesztését
Favaro és Clark azt is elmondták, hogy az ideális forgatókönyv a fejlesztés lassítása lenne, hogy a társadalomnak több ideje legyen megérteni e technológia „hatalmas” következményeit.
Áprilisban az Anthropic megtagadta a Claude Mythos MI-modell nyilvános közzétételét a globális kiberbiztonsági fenyegetésekkel kapcsolatos aggályok miatt. A modell könnyen képes szoftveres sebezhetőségeket létrehozni, ezért a vállalat úgy döntött, egyelőre nem teszi közzé.
Ugyanezen a napon technológiai vezetők egy csoportja, köztük az Anthropic és az OpenAI képviselői, nyílt levelet tettek közzé, amelyben szigorúbb korlátozások bevezetésére sürgették a törvényhozókat az MI-vel kapcsolatban. A szerzők figyelmeztettek, hogy a technológia segíthet a rosszindulatú szereplőknek leküzdeni azokat a „tudásbeli korlátokat”, amelyek korábban megakadályozták őket biológiai fegyverek létrehozásában.
Ugyanakkor hangsúlyozták, hogy a puszta lassítás új kockázatokat teremthet, ha lehetővé teszi a kevésbé óvatos szereplők számára, hogy technológiailag utolérjék az iparági vezetőket. Globális koordinációs mechanizmus nélkül a vállalatok és a kormányok kénytelenek lesznek nehéz biztonsági döntéseket hozni a versenyhelyzet és a geopolitikai nyomás alatt.
Mitől értékes a Claude
Az Anthropic zászlóshajója a Claude MI-asszisztens. Ez egy olyan nyelvmodell-család, amelyet szövegekkel, kódokkal, adatokkal és összetett feladatokkal való munkára terveztek, ahol nemcsak a válaszsebesség számít, hanem a biztonság, az irányíthatóság és a megbízhatóság is. A Claude-ot univerzális asszisztensként használják: képes szövegeket írni és szerkeszteni, dokumentumokat elemezni, összetett témákat elmagyarázni, segíteni a programozásban, hibákat keresni a kódban, valamint összefoglalókat, e-maileket, jelentéseket és egyéb munkaanyagokat készíteni.
A vállalkozások számára a Claude azért értékes, mert átveheti a rutinszerű szellemi munka egy részét. Használják az ügyfélszolgálatban, az analitikában, a szoftverfejlesztésben, a jogi és pénzügyi folyamatokban, a marketingben és a belső vállalati eszközökben. A cégek a Claude-ot csevegőasszisztensként, a termékeikbe integrálható API-ként és olyan feladatok automatizálására szolgáló eszközként használják, amelyek nagy mennyiségű információ gyors feldolgozását és világos, természetes nyelvű válaszokat igényelnek.
Emlékeztetőül: a Claude segített visszaszerezni a jelszót egy 5 Bitcoint tartalmazó tárcához.
Legfrissebb Anthropic hírek
- Forex
- Crypto