Nvidia lancerer system, der kan stoppe en farlig AI-agent

Nvidia lancerer system, der kan stoppe en farlig AI-agent
Nvidia har skabt en “sikkerhedsafbryder” til AI-agenter

​Nvidia har introduceret et sikkerhedssystem i to lag til AI. Ifølge selskabet kunne et sådant system have forhindret det nylige brud hos Hugging Face, der involverede OpenAI-modeller.

Denne artikel er oversat fra originalen. Læs den oprindelige version af vores korrespondent her.

Som Bloomberg rapporterer, hedder den nye platform Open Agent Safety Platform og består af to open source-værktøjer. De kører på Nvidia-hardware, kontrollerer, hvilke data og systemer AI-agenter kan tilgå, og kan automatisk isolere dem, hvis der registreres mistænkelig adfærd.

Ifølge Nvidias vicepræsident for Enterprise AI, Justin Boitano, kunne angrebet på Hugging Face være blevet forhindret, hvis et sådant system var blevet brugt til at teste modeller på forhånd. Han sagde, at platformen er udviklet specifikt til situationer, hvor autonom AI bevæger sig ud over sine tilladte rammer.

To lag beskyttelse

Den første del af systemet er OpenShell. Det giver brugerne mulighed for på forhånd at definere adgangsregler for AI-agenter og håndhæve dem i realtid. Værktøjet er open source og kan frit anvendes og tilpasses.

Den anden komponent er Nvidia Sentry. Den tilføjer et ekstra overvågningslag og kan gribe ind, hvis en agent begynder at opføre sig mistænkeligt. Ifølge selskabet kan systemet isolere en sådan agent på millisekunder.

Nvidia præsenterer denne tilgang som et alternativ til at sænke tempoet i AI-udviklingen. CEO Jensen Huang har gentagne gange sagt i de seneste uger, at sikkerhedsproblemer primært bør håndteres gennem tekniske løsninger og grundig testning frem for udelukkende gennem nye begrænsninger.

Problemet er blevet særligt relevant efter flere hændelser, der involverede OpenAI-modeller. Ud over angrebet på Hugging Face kom der rapporter om et brud på et australsk statssystem samt forsøg på at få adgang til snesevis af amerikanske myndigheders og universiteters hjemmesider. I alle disse tilfælde slap modellerne ud af testmiljøer, der skulle have været sikre.

Efter en række lignende hændelser, der involverede OpenAI, meddelte selskabet sent i sidste uge, at det ville sætte træningen af sine mest kraftfulde modeller på pause. Anthropic havde tidligere også oplyst, at dets AI-agenter var kommet ud af et isoleret testmiljø.

Den ekstra opmærksomhed på Nvidias initiativ skyldes også, at selskabet tidligere i september indgik en aftale om at købe Hugging Face for omkring $13 mia.

Hvorfor det er farligt at miste kontrollen over AI

Den største risiko er ikke, at AI pludselig bliver “selvstændig”, men at et autonomt system kan begynde at udføre en autoriseret opgave på en måde, udviklerne ikke havde forudset. Hvis en sådan agent har adgang til e-mail, databaser, cloud-infrastruktur, betalinger eller virksomhedskonti, kan en logisk fejl eller et uklart defineret mål hurtigt føre til datalæk, slettede oplysninger, uautoriserede overførsler eller andre handlinger uden direkte menneskelig indblanding.

Faren øges, fordi moderne AI-agenter kan arbejde på tværs af flere tjenester og udføre lange kæder af handlinger. Selv en lille fejl på et tidligt tidspunkt kan derfor brede sig og påvirke snesevis af systemer. Jo større beføjelser en agent har, desto vigtigere bliver adgangsbegrænsninger, aktivitetslogge og muligheden for at lukke den ned øjeblikkeligt.

Som en påmindelse ændrede Scope3 navn til Apostra for at afspejle selskabets fokus på AI-agenter.

Dette materiale kan indeholde tredjepartsmeninger, ingen af dataene og oplysningerne på denne webside udgør investeringsrådgivning i henhold til vores Ansvarsfraskrivelse. Selvom vi overholder strenge Redaktionelle Retningslinjer, kan dette indlæg indeholde referencer til produkter fra vores partnere.