Az Nvidia új rendszere ezredmásodpercek alatt megállíthatja a veszélyes AI-ügynököket
Az Nvidia bemutatott egy kétrétegű biztonsági rendszert az AI számára. A vállalat szerint egy ilyen rendszer megakadályozhatta volna a közelmúltbeli, OpenAI-modelleket érintő Hugging Face-feltörést.
Ezt a cikket az eredetiből fordítottuk. Olvassa el tudósítónk eredeti változatát itt.
A Bloomberg beszámolója szerint az új platform neve Open Agent Safety Platform, és két nyílt forráskódú eszközből áll. Ezek Nvidia-hardveren futnak, szabályozzák, hogy az AI-ügynökök milyen adatokhoz és rendszerekhez férhetnek hozzá, és gyanús viselkedés észlelése esetén automatikusan elszigetelhetik őket.
Justin Boitano, az Nvidia vállalati AI-ért felelős alelnöke szerint a Hugging Face elleni támadás megelőzhető lett volna, ha egy ilyen rendszert használtak volna a modellek előzetes tesztelésére. Elmondása szerint a platformot kifejezetten olyan helyzetekre tervezték, amikor az autonóm AI túllép a számára engedélyezett környezet határain.
A védelem két rétege
A rendszer első eleme az OpenShell. Lehetővé teszi, hogy a felhasználók előre meghatározzák az AI-ügynökök hozzáférési szabályait, és valós időben érvényesítsék azokat. Az eszköz nyílt forráskódú, szabadon használható és módosítható.
A második komponens az Nvidia Sentry. Újabb megfigyelési réteget biztosít, és beavatkozhat, ha egy ügynök gyanúsan kezd viselkedni. A vállalat szerint a rendszer ezredmásodpercek alatt elszigetelheti az ilyen ügynököt.
Az Nvidia ezt a megközelítést az AI-fejlesztés lassításának alternatívájaként pozicionálja. Jensen Huang vezérigazgató az elmúlt hetekben többször is kijelentette, hogy a biztonsági problémákat elsősorban mérnöki megoldásokkal és szigorú teszteléssel kell kezelni, nem pusztán új korlátozásokkal.
A kérdés különösen fontossá vált az OpenAI modelljeivel kapcsolatos több incidens után. A Hugging Face elleni támadás mellett egy ausztrál kormányzati rendszert érintő feltörésről, valamint több tucat amerikai kormányzati és egyetemi webhelyhez való hozzáférési kísérletről is érkeztek jelentések. Ezekben az esetekben a modellek kijutottak a biztonságosnak szánt tesztkörnyezetekből.
Az OpenAI-t érintő hasonló incidensek sorozatát követően a vállalat a múlt hét végén bejelentette, hogy felfüggeszti legerősebb modelljeinek betanítását. Az Anthropic korábban szintén nyilvánosságra hozta, hogy AI-ügynökeinek sikerült kijutniuk egy elszigetelt tesztkörnyezetből.
Az Nvidia kezdeményezése iránti további érdeklődést az is magyarázza, hogy a vállalat szeptember elején mintegy 13B dollárért megállapodott a Hugging Face felvásárlásáról.
Miért veszélyes, ha az AI kikerül az irányítás alól
A fő kockázat nem az, hogy az AI hirtelen „önállóvá válik”, hanem az, hogy egy autonóm rendszer olyan módon kezd végrehajtani egy engedélyezett feladatot, amire a fejlesztők nem számítottak. Ha egy ilyen ügynök hozzáfér e-mailekhez, adatbázisokhoz, felhőinfrastruktúrához, fizetési rendszerekhez vagy vállalati fiókokhoz, egy logikai hiba vagy pontatlanul meghatározott cél rövid idő alatt adatszivárgáshoz, adatok törléséhez, jogosulatlan átutalásokhoz vagy más, közvetlen emberi beavatkozás nélküli műveletekhez vezethet.
A veszélyt növeli, hogy a modern AI-ügynökök több szolgáltatáson keresztül is képesek dolgozni, és hosszú műveletsorokat hajthatnak végre. Ezért már egy korai szakaszban elkövetett kisebb hiba is továbbterjedhet, és több tucat rendszert érinthet. Minél nagyobb jogosultsággal rendelkezik egy ügynök, annál fontosabbá válnak a hozzáférési korlátozások, a tevékenységnaplók és az azonnali leállítás lehetősége.
Emlékeztetőül: a Scope3 Apostra névre változtatta a nevét, hogy tükrözze az AI-ügynökökre helyezett fókuszát.
-
Afganisztán
-
Albánia
-
Algéria
-
Angola
-
Argentína
-
Ausztria
-
Ausztrália
-
Azerbajdzsán
-
Bahama-szigetek
-
Bahrein
-
Banglades
-
Belgium
-
Bolívia
-
Botswana
-
Brazília
-
Brunei Darussalam
-
Bulgária
-
Chile
-
Ciprus
-
Costa Rica
-
Csehország
-
Dominikai Köztársaság
-
Dánia
-
Dél-Afrika
-
Ecuador
-
Egyesült Arab Emírségek
-
Egyesült Királyság
-
Egyiptom
-
El Salvador
-
Elefántcsontpart
-
Eswatini
-
Etiópia
-
Fehéroroszország
-
Finnország
-
Franciaország
-
Fülöp-szigetek
-
Ghána
-
Grúzia
-
Görögország
-
Haiti
-
Hollandia
-
Hongkong
-
Horvátország
-
India
-
Indonézia
-
Irak
-
Irán, Iszlám Köztársaság
-
Izrael
-
Jamaica
-
Japán
-
Jemen
-
Jordánia
-
Kambodzsa
-
Kamerun
-
Kanada
-
Katar
-
Kazahsztán
-
Kenya
-
Kirgizisztán
-
Kolumbia
-
Kongó
-
Kongó D. K.
-
Korea
-
Kuba
-
Kuvait
-
Kína
-
Laosz
-
Lengyelország
-
Lesotho
-
Lettország
-
Libanon
-
Litvánia
-
Luxemburg
-
Líbia
-
Madagaszkár
-
Magyarország
-
Malajzia
-
Marokkó
-
Mauritius
-
Mexikó
-
Mianmar
-
Moldova
-
Mongólia
-
Montenegró
-
Mozambik
-
Málta
-
Namíbia
-
Nepál
-
Nigéria
-
Norvégia
-
Németország
-
Olaszország
-
Omán
-
Pakisztán
-
Palesztina
-
Panama
-
Paraguay
-
Peru
-
Portugália
-
Puerto Rico
-
Pápua Új-Guinea
-
Reunion
-
Románia
-
Ruanda
-
Spanyolország
-
Sri Lanka
-
Svájc
-
Svédország
-
Szaúd-Arábia
-
Szerbia
-
Szingapúr
-
Szlovákia
-
Szlovénia
-
Szomália
-
Szíria
-
Tajvan, Kína tartomány
-
Tanzánia
-
Thaiföld
-
Trinidad és Tobago
-
Tunézia
-
Tádzsikisztán
-
Törökország
-
USA
-
Uganda
-
Ukrajna
-
Uruguay
-
Venezuela
-
Vietnam
-
Zambia
-
Zimbabwe
-
Észak-Macedónia
-
Észtország
-
Írország
-
Örményország
-
Új-Zéland
-
Üzbegisztán
- Forex
- Crypto
