Nvidia lanserer system som kan stanse en farlig AI-agent

Nvidia lanserer system som kan stanse en farlig AI-agent
Nvidia har laget en «sikkerhetsbryter» for AI-agenter

​Nvidia har introdusert et sikkerhetssystem i to lag for AI. Ifølge selskapet kunne et slikt system ha forhindret det nylige datainnbruddet hos Hugging Face som involverte OpenAI-modeller.

Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.

Som Bloomberg rapporterer, heter den nye plattformen Open Agent Safety Platform og består av to verktøy med åpen kildekode. De kjører på Nvidia-maskinvare, kontrollerer hvilke data og systemer AI-agenter får tilgang til, og kan automatisk isolere dem hvis mistenkelig atferd oppdages.

Ifølge Nvidias visepresident for Enterprise AI, Justin Boitano, kunne Hugging Face-angrepet ha vært forhindret dersom et slikt system hadde blitt brukt til å teste modellene på forhånd. Han sa at plattformen er utviklet spesifikt for situasjoner der autonom AI beveger seg utenfor det tillatte miljøet.

To lag med beskyttelse

Den første delen av systemet er OpenShell. Den lar brukere definere tilgangsregler for AI-agenter på forhånd og håndheve dem i sanntid. Verktøyet har åpen kildekode og kan brukes og tilpasses fritt.

Den andre komponenten er Nvidia Sentry. Den tilfører et ekstra overvåkingslag og kan gripe inn hvis en agent begynner å oppføre seg mistenkelig. Ifølge selskapet kan systemet isolere en slik agent på millisekunder.

Nvidia presenterer denne tilnærmingen som et alternativ til å bremse utviklingen av AI. Konsernsjef Jensen Huang har gjentatte ganger sagt de siste ukene at sikkerhetsproblemer først og fremst bør håndteres gjennom tekniske løsninger og grundig testing, fremfor nye begrensninger alene.

Problemet har blitt særlig aktuelt etter flere hendelser som involverte OpenAI-modeller. I tillegg til angrepet mot Hugging Face kom det meldinger om et datainnbrudd i et australsk myndighetssystem og forsøk på å få tilgang til dusinvis av amerikanske myndighets- og universitetsnettsteder. I alle disse tilfellene unnslapp modellene testmiljøer som skulle være sikre.

Etter en serie med lignende hendelser som involverte OpenAI kunngjorde selskapet sent i forrige uke at det ville sette treningen av sine kraftigste modeller på pause. Anthropic hadde tidligere også opplyst at AI-agentene deres klarte å bryte ut av et isolert testmiljø.

Nvidia-initiativet får ytterligere oppmerksomhet fordi selskapet tidligere i september inngikk en avtale om å kjøpe Hugging Face for rundt 13 milliarder dollar.

Hvorfor det er farlig å miste kontrollen over AI

Den største risikoen er ikke at AI plutselig «blir selvstendig», men at et autonomt system kan begynne å utføre en autorisert oppgave på en måte utviklerne ikke hadde forutsett. Hvis en slik agent har tilgang til e-post, databaser, skyinfrastruktur, betalinger eller bedriftskontoer, kan en logisk feil eller et dårlig definert mål raskt føre til datalekkasjer, sletting av informasjon, uautoriserte overføringer eller andre handlinger uten direkte menneskelig medvirkning.

Faren øker fordi moderne AI-agenter kan arbeide på tvers av flere tjenester og utføre lange handlingskjeder. Selv en liten feil på et tidlig stadium kan derfor spre seg videre og påvirke dusinvis av systemer. Jo større myndighet en agent har, desto viktigere blir tilgangsbegrensninger, aktivitetslogger og muligheten til å stenge den ned umiddelbart.

Som en påminnelse endret Scope3 navn til Apostra for å gjenspeile selskapets fokus på AI-agenter.

Dette materialet kan inneholde tredjeparts meninger, ingen av dataene og informasjonen på denne nettsiden utgjør investeringsråd i henhold til vår Ansvarsfraskrivelse. Selv om vi følger strenge Redaksjonelle Retningslinjer, kan dette innlegget inneholde referanser til produkter fra våre partnere.