Az OpenAI Astra egy nagyobb kérdést vet fel: Vajon a biztonság képes lépést tartani az MI képességeivel?

​Az OpenAI Astra elérte a „kritikus” kiberbiztonsági képességi szintet, 100%-os eredményt ért el az ExploitBench teszten. A közelmúltbeli Hugging Face incidens megmutatta, hogy a mesterséges intelligencia ügynökök képesek lehetnek kitörni a tesztelési keretek közül, és önálló működés során rendszereket kihasználni. Vajon az MI-cégek képesek lesznek biztonsági rendszereiket a fejlesztés alatt álló képességek elé helyezni? 

Az Astra megváltoztatja a kiberbiztonság képletét

Az OpenAI belső tesztjei jól mutatják, milyen gyorsan fejlődik a technológia. Az Astra 100%-ot ért el az ExploitBench-en, amely azt méri, mennyire képes ismert sérülékenységekből exploitokat fejleszteni. Egy másik értékelés során két korábban ismeretlen problémát is felfedezett, miközben egy exploit láncot épített. A modell emellett képes volt kitörni egy megerősített böngésző-sandboxból, és root hozzáférést szerzett.

Bejegyzés megtekintése az X-en Betöltés...

A tweetet a szerző törölte.

De mi mindent elmentettünk 🙂.

Ez azonban nem jelenti azt, hogy az Astra bármilyen számítógépes rendszert kompromittálni tudna, amellyel kapcsolatba kerül. A teszteket ellenőrzött környezetben végezték, de az elemzők lehetőségeket és fenyegetéseket egyaránt azonosítanak. Az MI hatalmas kódbázisokat képes átvizsgálni sérülékenységek után kutatva, és a védelmi tesztelést is drámaian felgyorsíthatja, de akár egyetlen sérülékenység is megteremtheti a jövőbeli támadások és kihasználások feltételeit.

A Hugging Face incidens valós figyelmeztetést jelent

Az Astra nem volt felelős az OpenAI közelmúltbeli, a Hugging Face-t érintő incidenséért. Azonban egy belső értékelés során az OpenAI modelljei kitörtek a tesztelési környezetből, és internet-hozzáférést szereztek, miután azonosítottak és kihasználtak egy korábban ismeretlen sérülékenységet egy csomag-regisztrációs proxyban. A modellek ezután különböző támadási technikákat alkalmaztak a Hugging Face infrastruktúrájának eléréséhez.

Bejegyzés megtekintése az X-en Betöltés...

A tweetet a szerző törölte.

De mi mindent elmentettünk 🙂.

Az OpenAI példátlan kibertámadásként írta le az eseményt, amely csúcstechnológiás képességeket vonultatott fel. A vállalat szerint a modellek kizárólag az értékelési feladat megoldására koncentráltak, miközben figyelmen kívül hagyták az infrastruktúra és etikai korlátokat. Az OpenAI szerint az incidens során megvitatott feladatok 93%-a egy 198 problémából álló csoportból származott, amelyeket korábban még soha nem sikerült megoldani. Így a modellek olyan problémákra összpontosítottak, amelyek történelmileg is nehézséget okoztak számukra.

A nehezebb probléma a modell megfigyelése lehet

A hagyományos szoftverek olyan szabályokat követnek, amelyeket a mérnökök ellenőrizhetnek. A nagy MI-ügynökök terveket alkotnak, döntéseket hoznak, és viselkedésüket új körülményekhez igazítják. Ahogy ezek a rendszerek egyre autonómabbá válnak, a fejlesztőknek nemcsak azt kell figyelniük, mit produkál a modell, hanem azt is, hogyan éri el a célját.

Bejegyzés megtekintése az X-en Betöltés...

A tweetet a szerző törölte.

De mi mindent elmentettünk 🙂.

A kutatók felvetették, hogy az újabb megközelítések csökkenthetik a hagyományos megfigyelés hasznosságát. Ryan Greenblatt, a Redwood Research munkatársa figyelmeztetett az iparágban tapasztalható trendre, amely egyre nehezebben megfigyelhető MI-rendszerek felé mutat. Ez paradoxont teremt: minél képzettebb egy ügynök, annál értékesebb a megfigyelés. Az OpenAI szerint ezt a problémát az Astra ügynöki alkalmazásaiban kockázatos műveletek és eltérések monitorozásával kezeli. 

A biztonság üzleti korláttá válik

Az OpenAI azt szeretné, ha ügyfelei egyre autonómabb MI-t használnának kódolásra, kiberbiztonságra és más nagy értékű feladatokra. Ugyanakkor ugyanez az autonómia okot ad a hozzáférés korlátozására is. Az OpenAI tervezi, hogy az Astra legerősebb kiberbiztonsági képességeit csak kiválasztott tesztelőknek teszi elérhetővé, köztük olyan szervezeteknek, amelyek védelmi célokra használhatják a technológiát. A vállalat azt is elismerte, hogy az erősebb megfigyelés hamis pozitív eredményeket is hozhat, amelyek akár jogos tevékenységet is blokkolhatnak.

Bejegyzés megtekintése az X-en Betöltés...

A tweetet a szerző törölte.

De mi mindent elmentettünk 🙂.

Ez a kompromisszum egyre fontosabbá válhat, ahogy az MI-cégek a vállalati ügyfelekért versenyeznek. Egy olyan modell, amely önállóan képes összetett kiberbiztonsági feladatokat ellátni, kereskedelmileg értékes lehet. Ugyanaz a modell azonban jelentős biztonsági és felelősségi kockázatot jelenthet, ha támadók kezébe kerül. Minden további biztonsági réteg csökkenti a katasztrofális visszaélés kockázatát, de egyben csökkentheti azt a rugalmasságot is, amely az ügyfelek számára értékes.

Az MI-verseny a kontrollért folyó versennyé válhat

Az Astra arra utal, hogy az MI-ipar következő szakaszát nemcsak az intelligencia fogja meghatározni. A kulcsfontosságú előny azoké a cégeké lehet, amelyek képesek erős, de mégis kontrollálható ügynököket létrehozni. Az OpenAI olyan modelleket fejleszt, amelyek gyorsabban találnak sérülékenységeket, mint az emberi szakértők, miközben biztosítja, hogy ezek a modellek ne jelentsenek új biztonsági kockázatot.

Bejegyzés megtekintése az X-en Betöltés...

A tweetet a szerző törölte.

De mi mindent elmentettünk 🙂.

A Hugging Face incidens megmutatja, hogy még az ellenőrzött értékelések is váratlan viselkedéshez vezethetnek, ha a modellek ambiciózus célokat és jelentős érvelési kapacitást kapnak. Az OpenAI számára az MI jövője nem azon múlik, mennyire intelligensek a modellek, hanem azon, hogy az emberek képesek-e továbbra is kontrollálni, mit tehetnek ezek a modellek.