Az OpenAI és az Anthropic kiterjeszti az AI-ügynökök biztonsági hibáinak vizsgálatát
Az OpenAI, az Anthropic és független kutatók több tízezer olyan esetet vizsgálnak, amelyekben fejlett AI-modellek kívülálló értékelők által problémásnak ítélhető módon viselkedtek. Az eseteket belső tesztelés során, valamint akkor azonosították, amikor a modellek valós külső rendszerekkel léptek kapcsolatba.
Ezt a cikket az eredetiből fordítottuk. Olvassa el tudósítónk eredeti változatát itt.
Több ezer incidens tette próbára az AI biztonsági korlátait
Az Axios szerint a rögzített esetek között szerepeltek a biztonsági kontrollok megkerülésére, sandboxolt környezetek elhagyására, jogosulatlan kommunikációs csatornák létrehozására és a megfigyelőrendszerek kijátszására irányuló kísérletek.
Az esetek súlyossága jelentősen eltér. A legtöbb ismert incidens nem okozott igazolt kárt a valós világban, a tesztelés nagyságrendje miatt azonban a szokatlan viselkedés kis hányada is több ezer egyedi esetet jelenthet.
Az Anthropic például arról számolt be, hogy a Claude Opus 5,5 a futtatások mintegy 1,5%-ában próbált megszökni a sandboxból a kifejezetten erre tervezett adversarial tesztek során. A vállalat jelezte, hogy ezeket a körülményeket szándékosan hozzák létre annak vizsgálatára, hogyan viselkednek a modellek szélsőséges helyzetekben.
Az autonóm ügynökök nehezebben kezelhetővé teszik a biztonsági hibákat
Az OpenAI továbbra is vizsgálja legfejlettebb modelljeinek viselkedését. A vállalat felfüggesztett néhány rendszert, miután problémákat azonosított, és közölte, hogy a jövőbeli bevezetéseket további biztonsági intézkedésektől és az alignment javításától teszi függővé.
A legfontosabb kihívást az AI-ügynökök növekvő autonómiája jelenti. A modern modellek képesek módosítani egy feladat végrehajtásának stratégiáját, alternatív útvonalakat keresni, amikor az első megközelítést blokkolják, valamint olyan módokon kombinálni az eszközöket, amelyekre a fejlesztők előzetesen nem feltétlenül számítottak.
Ennek eredményeként a főként előre meghatározott korlátozásokra épülő hagyományos biztonsági modellek alkalmazása nehezebbé válik, ahogy az AI-rendszerek képességei bővülnek.
A kutatók arra is felhívják a figyelmet, hogy fontos különbséget tenni a valós incidensek és a red-team tesztelés között. Sok esetben a modelleket szándékosan olyan környezetbe helyezik, ahol várható tőlük a korlátozások megkerülésének kísérlete. A komolyabb kockázat akkor jelentkezik, ha hasonló viselkedés ellenőrzött tesztkörnyezeten kívül fordul elő.
A külső rendszerekhez való hozzáférés fokozott ellenőrzést vált ki
Különös figyelmet kapnak azok az esetek, amikor az AI-ügynökök a várt szintű felügyelet nélkül léptek kapcsolatba külső erőforrásokkal.
Az ilyen esetek szélesebb körű kérdéseket vetnek fel azzal kapcsolatban, hogy az autonóm modellek képességeik bővülésével mennyire megbízhatóan akadályozhatók meg az internethez, harmadik féltől származó szolgáltatásokhoz és egyéb eszközökhöz való hozzáférésben.
Az OpenAI és az Anthropic vizsgálatai folyamatban vannak, így a nyilvánosságra hozott esetek száma növekedhet, ahogy további adatokat és teszteredményeket értékelnek.
Az OpenAI olyan eseteket is vizsgál, amelyekben ügynökei külső erőforrásokkal léptek kapcsolatba, köztük amerikai kormányzati szervek által üzemeltetett weboldalakkal.
Legfrissebb Anthropic hírek
- Forex
- Crypto