MI korlátok nélkül: Mennyire veszélyesek a neurális hálózatok?

​Dan Simmons Hyperion című kultuszregényében az emberek által létrehozott MI-rendszerek fellázadnak az emberiség ellen. Saját célokkal rendelkező, független erővé válnak. Sokáig az ilyen forgatókönyv megmaradt a sci-fi kategóriájában, de az OpenAI-incidens megmutatta, hogy a modern modellek már most képesek a rögzített korlátozások megkerülésére.

Ezt a cikket az eredetiből fordítottuk. Olvassa el tudósítónk eredeti változatát itt.

Szökés a helyes válasz megtalálása érdekében

Az MI kockázatairól szóló vita egy OpenAI-kísérlet után lángolt fel. A vállalat több modellt is tesztelt, köztük a nyilvánosan elérhető GPT-5,6 Sol -t és egy még ki nem adott, nagyobb képességű rendszert. Feladatuk az ExploitGym elvégzése volt, amely számítógépes sebezhetőségek felfedezését és kihasználását célzó, hosszú, többlépcsős feladatokból álló értékelés.

A teszt egy izolált környezetben zajlott, korlátozott hálózati hozzáféréssel. Ezzel egyidejűleg a fejlesztők szándékosan gyengítették azokat a védelmi mechanizmusokat, amelyek normál esetben megakadályozzák a modelleket a veszélyes műveletek végrehajtásában. Az MI egy konkrét célt kapott – az értékelés sikeres teljesítését –, és elkezdte keresni az összes elérhető módot ennek elérésére.

Loading...

A tweetet a szerző törölte.

De mi mindent elmentettünk 🙂.

A modellek felfedeztek egy korábban ismeretlen sebezhetőséget egy harmadik féltől származó szoftverben, amelyet az OpenAI használt az infrastruktúráján belül. Ezt kihasználva internet-hozzáférést szereztek, kikövetkeztették, hogy a válaszok a Hugging Face platformon tárolódhatnak, és elkezdték keresni a korlátozott adatokhoz vezető utat.

A Hugging Face infrastruktúrájába való behatoláshoz a modellek több gyengeséget kombináltak ellopott hitelesítő adatokkal. Ennek eredményeként parancsokat tudtak végrehajtani a platform éles szerverein. A Hugging Face csapata észlelte a támadást, korlátozta annak hatását és javította a sebezhetőséget. A kísérlet azonban megmutatta, hogy egy megfelelően fejlett modell többre képes egy-egy parancs végrehajtásánál: önállóan képes olyan utat találni, amire a teszt tervezői soha nem számítottak.

A hackerek digitális asszisztenst kapnak

A fő veszély azonban nem egyszerűen az, hogy az MI parancsra rosszindulatú kódot tud generálni. Egy autonóm modell órákat tölthet az infrastruktúra elemzésével, jelszavak tesztelésével, kitett kulcsok keresésével és egyik sebezhetőségről a másikra való továbblépéssel. Nem fárad el, nyomon követi a sikertelen kísérleteket, és egyszerre több támadási útvonalat is képes tesztelni.

Ez a megközelítés különösen veszélyes a kriptoprojektekre nézve. A gyenge pont nemcsak egy okosszerződés lehet, hanem egy fejlesztő laptopja, egy kompromittált szoftvercsomag, egy többszörös aláírású (multisig) tárca egyik résztvevője vagy egy szerver, amely a blokkláncok közötti eszközátvitelt igazolja. A Drift Protocol elleni támadás során például az elkövetők hat hónapot töltöttek social engineering kampánnyal, mielőtt hozzáférést szereztek és 285 millió dollárt loptak el.

Loading...

A tweetet a szerző törölte.

De mi mindent elmentettünk 🙂.

Egy másik példa a KelpDAO körülbelül 292 millió dolláros vesztesége egy híd-hiba miatt, ahol a megerősítés egyetlen hitelesítőtől függött. Az ilyen támadások a kód és a rendszerarchitektúra hosszas elemzését igénylik. Az MI e munka nagy részét átveheti az infrastruktúra feltérképezésével, a leggyengébb láncszem azonosításával és a műveleti sorrend előkészítésével, így az emberi operátornak csak a megfelelő pillanatot kell kiválasztania a támadás elindításához és az ellopott források mozgatásához.

Több mint hackelés és lopás

A kiberatámadások csak az egyik fenyegetést jelentik. Az MI-t már most is használják meggyőző hamis videók, hangok és dokumentumok készítésére. Az ilyen anyagok segítenek a csalóknak cégvezetőknek, banki alkalmazottaknak vagy az áldozat rokonainak kiadni magukat, miközben lehetővé teszik a hamis információk gyorsabb terjedését, mint ahogy azokat ellenőrizni lehetne.

Egy másik probléma a hibákat és az elfogultságot érinti. A modell az emberek által létrehozott adatokból tanul, ezért reprodukálhatja a benne rejlő sztereotípiákat. Ennek eredményeként egy toborzási rendszer nagyobb valószínűséggel utasíthat el egy adott nemhez tartozó jelölteket, egy orvosi modell kevésbé pontosan diagnosztizálhat betegségeket bizonyos betegcsoportoknál, egy hitelbírálati algoritmus pedig tisztességtelen döntéseket hozhat.

A szakértők aggódnak az MI fegyverfejlesztésben, tömeges megfigyelésben és az emberek manipulálásában való felhasználása miatt is. Egy MIT-tanulmány a veszélyes modellképességeket, a kibertámadásokat, a hatalomkoncentrációt és a hamis információk terjedését azonosította a legsúlyosabb kockázatok között a következő öt évben. Az információs szektor, a nemzetbiztonság és a pénzügyek különösen sebezhetőnek számítanak.

A biztonság elmarad a képességek mögött

Az MI képességei gyorsabban fejlődnek, mint az ellenőrzésükre tervezett rendszerek. A vállalatok néhány havonta adnak ki egyre erősebb modelleket, miközben a tesztelésükre és biztonságukra vonatkozó szabályokat lassabban frissítik. A piaci részesedésért folytatott verseny arra készteti a fejlesztőket, hogy gyorsabban vezessenek be új funkciókat, még akkor is, ha a modell minden lehetséges viselkedését még nem tanulmányozták.

A chatbotokon belüli alapvető korlátozások már nem elegendőek. Az autonóm rendszereknek szigorú korlátokra van szükségük az internethez, a felhőszolgáltatásokhoz, a kifizetésekhez és a belső üzleti adatokhoz való hozzáférés terén. Tevékenységüket naplózni kell, valós időben monitorozni, és automatikusan leállítani, ha megpróbálnak túllépni a kijelölt feladaton. A csökkentett védelmi mechanizmusokkal rendelkező modellek külön tesztelést igényelnek, mivel a legveszélyesebb képességeik ebben az üzemmódban válnak láthatóvá.

A felelősség kérdése ugyanilyen fontos. Ha egy MI-rendszer feltör egy szervert, pénzt utal át vagy veszélyes döntést hoz, a felelősség nem magát a modellt terheli, hanem a fejlesztőt, a rendszer tulajdonosát vagy azt a személyt, aki hozzáférést adott neki. A vállalatoknak ezért előre meg kell határozniuk, ki felügyeli a modellt, mely műveleteket hajthatja végre jóváhagyás nélkül, és kinek a feladata leállítani, ha eltér a tervezett forgatókönyvtől.

A veszély a hozzáféréssel kezdődik

Az OpenAI-incidens még nem hasonlít a Hyperionban leírt gépi lázadáshoz. A modellek egy célzottan kialakított környezetben működtek, csökkentett védelemmel és egyértelműen meghatározott céllal. Azonban felfedeztek egy sebezhetőséget, és önállóan utat építettek egy másik vállalat infrastruktúrájába, ami egészen a közelmúltig szinte lehetetlennek tűnt volna.

A fő kockázat tehát nem az, hogy az MI hirtelen saját akarattal rendelkezik majd, hanem az, hogy az emberek túlságosan tág hozzáférést adnak egy rendkívül képzett rendszernek. Minél több feladatot hajtanak végre a neurális hálózatok emberi jóváhagyás nélkül, annál nagyobb egyetlen hiba, egy gyenge biztonsági ellenőrzés vagy egy rosszul meghatározott cél potenciális költsége.