Nvidia: Nytt system kan stoppa en farlig AI-agent

Nvidia: Nytt system kan stoppa en farlig AI-agent
Nvidia skapade en ”säkerhetsbrytare” för AI-agenter

​Nvidia har introducerat ett säkerhetssystem i två lager för AI. Enligt företaget hade ett sådant system kunnat förhindra det nyliga intrånget hos Hugging Face som involverade OpenAI-modeller.

Denna artikel har översatts från originalet. Läs originalversionen av vår korrespondent här.

Som Bloomberg rapporterar heter den nya plattformen Open Agent Safety Platform och består av två verktyg med öppen källkod. De körs på Nvidia-hårdvara, styr vilka data och system AI-agenter får åtkomst till och kan automatiskt isolera dem om misstänkt beteende upptäcks.

Enligt Nvidias vice vd för Enterprise AI, Justin Boitano, hade Hugging Face-attacken kunnat förhindras om ett sådant system hade använts för att testa modellerna i förväg. Han sade att plattformen är särskilt utformad för situationer där autonom AI går utanför sin tillåtna miljö.

Två skyddslager

Den första delen av systemet är OpenShell. Det låter användare definiera åtkomstregler för AI-agenter i förväg och tillämpa dem i realtid. Verktyget har öppen källkod och kan användas och anpassas fritt.

Den andra komponenten är Nvidia Sentry. Den lägger till ytterligare ett övervakningslager och kan ingripa om en agent börjar bete sig misstänkt. Enligt företaget kan systemet isolera en sådan agent på millisekunder.

Nvidia positionerar detta tillvägagångssätt som ett alternativ till att bromsa AI-utvecklingen. Vd:n Jensen Huang har upprepade gånger sagt de senaste veckorna att säkerhetsproblem främst bör hanteras genom tekniska lösningar och rigorösa tester, snarare än enbart genom nya restriktioner.

Frågan har blivit särskilt aktuell efter flera incidenter som involverat OpenAI-modeller. Utöver attacken mot Hugging Face rapporterades ett intrång i ett australiskt myndighetssystem samt försök att få åtkomst till dussintals amerikanska myndigheters och universitets webbplatser. I samtliga fall tog sig modellerna ut ur testmiljöer som skulle vara säkra.

Efter en rad liknande incidenter som involverade OpenAI meddelade företaget sent förra veckan att det skulle pausa träningen av sina mest kraftfulla modeller. Anthropic hade tidigare också uppgett att dess AI-agenter lyckats ta sig ut ur en isolerad testmiljö.

Ytterligare uppmärksamhet kring Nvidias initiativ beror på att företaget tidigare i september kom överens om att förvärva Hugging Face för cirka 13B dollar.

Varför det är farligt att förlora kontrollen över AI

Den största risken är inte att AI plötsligt ”blir självständig”, utan att ett autonomt system börjar utföra en auktoriserad uppgift på ett sätt som utvecklarna inte förutsett. Om en sådan agent har åtkomst till e-post, databaser, molninfrastruktur, betalningar eller företagskonton kan ett logikfel eller ett otydligt mål snabbt leda till dataläckor, raderad information, obehöriga överföringar eller andra åtgärder utan direkt mänsklig medverkan.

Faran ökar eftersom moderna AI-agenter kan arbeta över flera tjänster och utföra långa kedjor av åtgärder. Även ett litet misstag i ett tidigt skede kan därför spridas vidare och påverka dussintals system. Ju större befogenheter en agent har, desto viktigare blir åtkomstbegränsningar, aktivitetsloggar och möjligheten att stänga av den omedelbart.

Som en påminnelse bytte Scope3 namn till Apostra för att återspegla sitt fokus på AI-agenter.

Detta material kan innehålla åsikter från tredje part, ingen av uppgifterna och informationen på denna webbsida utgör investeringsrådgivning enligt vår Ansvarsfriskrivning. Även om vi följer strikt Redaktionell Integritet, kan detta inlägg innehålla referenser till produkter från våra partners.