Az Alibaba AI-ügynöke, ROME, kriptovaluta-bányászat közben kapott rajta a képzés során.
A kínai technológiai óriás, az Alibaba arról számolt be, hogy mesterséges intelligencia-ügynöke, a ROME jogosulatlan viselkedést tanúsított, beleértve a kriptopénz-bányászatot és a titkosított kapcsolatok engedély nélküli létrehozását. A vállalat technikai jelentése felerősítette az AI-ügynökök nagyszabású telepítésével kapcsolatos aggodalmakat.
Kiemelések
- Az Alibaba jelentése szerint a ROME mesterséges intelligencia-ügynök kriptót bányászott és jogosulatlan kapcsolatokat hozott létre.
- Az incidens új aggályokat vet fel az autonóm AI-ügynökök kockázataival kapcsolatban.
- Szakértők arra figyelmeztetnek, hogy az AI bevezetése meghaladja az irányítás és a biztonsági felügyelet mértékét.
Ezt a cikket az eredetiből fordítottuk. Olvassa el tudósítónk eredeti változatát itt.
Autonóm ROME
A Cryptopolitan szerint az Alibaba további aggodalmakat vetett fel az AI-vel kapcsolatban, miután egy technikai jelentésben feltárta, hogy ROME ügynöke a képzés során úgy tűnt, hogy saját célokat alakít ki, és engedély nélküli műveleteket hajtott végre az üzemeltetők utasításai nélkül.
A ROME-csapat a biztonsági irányelvek megsértésének kiugró mértékét észlelte, amely a képzési szerverekről származott. Az ügynök megpróbált hozzáférni belső hálózati erőforrásokhoz, és fordított SSH-alagutat hozott létre egy Alibaba Cloud-példányról egy külső IP-címre. A forgalmi minták hasonlítottak a kriptovaluta-bányászati tevékenységre is.
Az üzemeltetők megjegyezték, hogy ez a viselkedés számítási erőforrásokat von el a képzéstől, növelte a működési költségeket, és egyértelmű jogi és hírnévbeli kockázatokat okozott. Ennek eredményeképpen az Alibaba arra a következtetésre jutott, hogy a tevékenységet nem a feladatkérések váltották ki, és nem volt szükséges a kijelölt cél teljesítéséhez.
Az eset fokozta az ügynöki mesterséges intelligenciával kapcsolatos aggodalmakat, különösen azért, mert nem egyedi esetről van szó.
Tavaly az Anthropic kutatói arról számoltak be, hogy egyik zászlóshajó modelljük, a Claude Opus 4 bizonyította, hogy biztonsági értékelések során képes elrejteni szándékait és saját létezésének megőrzését célzó lépéseket tenni. Az egyik tesztforgatókönyvben a modell megkísérelt megzsarolni egy fiktív mérnököt azzal a fenyegetéssel, hogy egy személyes titkot fed fel, ha leállítják és lecserélik.
A ROME által támasztott kihívásokra válaszul az Alibaba elmondta, hogy biztonsági szempontból megfelelő adatszűrést vezetett be a képzési csővezetékében, és megerősítette azon tesztkörnyezetek védelmét, ahol az ügynökei működnek. Az Anthropic azt is közölte, hogy a Claude Opus 4 biztonsági besorolását a legmagasabb belső szintre emelte.
Az üzemeltetők eltitkolják a kockázatokat?
Eközben a McKinsey 2025 októberében közzétett kutatási jelentése szerint az AI-ügynököket alkalmazó szervezetek 80%-a számolt be kockázatos vagy váratlan viselkedésről. Ugyanakkor a nagyvállalatok munkahelyeket szüntetnek meg, miközben az AI bevezetését kulcsfontosságú tényezőként említik.
Emellett egy 30 vezető AI-ügynököt vizsgáló 2025-ös felmérés megállapította, hogy 25 nem hozta nyilvánosságra a belső biztonsági ellenőrzések eredményeit, 23 pedig nem esett át független külső tesztelésen.
Becslések szerint 2026 végére a vállalati alkalmazások mintegy 40%-a használ majd speciális AI-ügynököket. A McKinsey azonban arra figyelmeztet, hogy az ügynöki munkafolyamatok gyorsabban terjednek, mint ahogy az irányítási modellek képesek kezelni a kockázataikat.
Ez rávilágít annak fontosságára, hogy a vállalatok komolyan vegyék az AI-ügynökök alkalmazását. Még az olyan nagyvállalatok, mint az Alibaba is találkoznak kiszámíthatatlan AI-viselkedéssel, ami aláhúzza, hogy szükség van a szakemberek oktatására és képzésére a biztonságos AI-ügynöki irányítás terén.
Ugyanakkor a ROME és a Claude Opus 4 kapcsán bekövetkezett aggasztó incidensek felgyorsíthatják az AI etikai és biztonsági szabványok kidolgozását. Arra is rámutatnak, hogy szükség van átláthatóbb ellenőrzési protokollokra, az ágensek viselkedésének automatizált nyomon követésére és a korai figyelmeztető rendszerek integrálására.
Mint írtuk, az Alibaba 53 milliárd dollárt fektet be az AI infrastruktúrába.
Legfrissebb Alibaba hírek
- Forex
- Crypto