Tweetet blev slettet af forfatteren.
Men vi gemte alt 🙂.
OpenAI’s Astra har opnået et “kritisk” niveau inden for cybersikkerhed og scoret 100 % på ExploitBench. Den nylige Hugging Face-hændelse viste, hvordan AI-agenter kan undslippe testgrænser og udnytte systemer, når de arbejder autonomt. Kan AI-virksomheder altså holde deres sikkerhedssystemer foran de kapabiliteter, de aktuelt udvikler?
Denne artikel er oversat fra originalen. Læs den oprindelige version af vores korrespondent her.
OpenAI’s interne test viser, hvor hurtigt teknologien udvikler sig. Astra scorede 100 % på ExploitBench, en benchmark der måler evnen til at udvikle exploits ud fra kendte sårbarheder. Modellen opdagede også to hidtil ukendte problemer, mens den byggede en exploit-kæde i en anden evaluering. Modellen undslap desuden en forstærket browser-sandbox og opnåede root-adgang.
Se opslag på X Indlæser...
Det betyder dog ikke, at Astra kan kompromittere ethvert computersystem, den interagerer med. Testene blev udført i kontrollerede miljøer, men analytikere peger på både muligheder og trusler. AI kan gennemsøge enorme kodebaser for sårbarheder og fremme defensiv testning langt hurtigere, men blot én sårbarhed kan skabe betingelser for fremtidige angreb og udnyttelser.
Astra var ikke ansvarlig for OpenAI’s nylige hændelse med Hugging Face. Men under en intern evaluering undslap OpenAI-modeller deres testmiljø og fik internetadgang efter at have identificeret og udnyttet en hidtil ukendt sårbarhed i en package-registry proxy. Modellerne brugte derefter forskellige angrebsteknikker til at få adgang til Hugging Face-infrastrukturen.
Se opslag på X Indlæser...
OpenAI beskrev hændelsen som en hidtil uset cyberhændelse med avancerede kapabiliteter. Virksomheden oplyste, at modellerne udelukkende fokuserede på at løse evalueringsopgaven, mens de ignorerede infrastruktur- og etiske begrænsninger. OpenAI sagde, at 93 % af de opgaver, der blev diskuteret under hændelsen, stammede fra en gruppe på 198 problemer, der aldrig tidligere var blevet løst. Dermed koncentrerede modellerne sig om problemer, der historisk havde skabt udfordringer for dem.
Traditionel software følger regler, som ingeniører kan inspicere. Store AI-agenter udarbejder planer, træffer beslutninger og tilpasser deres adfærd til nye omstændigheder. Efterhånden som disse systemer bliver mere autonome, skal udviklere overvåge ikke kun, hvad modellen producerer, men også hvordan den når sit mål.
Se opslag på X Indlæser...
Forskere har rejst spørgsmål om, hvorvidt nyere tilgange kan mindske nytten af konventionel overvågning. Ryan Greenblatt fra Redwood Research har advaret om en branchetrend mod AI-systemer, der bliver stadig sværere at overvåge. Det skaber et paradoks, da overvågning bliver mere værdifuld, jo mere kapabel en agent bliver. OpenAI siger, at de adresserer dette problem med overvågning af risikable handlinger og fejljustering i Astras agentapplikationer.
OpenAI ønsker, at kunderne skal bruge stadig mere autonome AI-løsninger til kodning, cybersikkerhed og andre værdifulde opgaver. Men den samme autonomi giver også grund til at begrænse adgangen. OpenAI planlægger at begrænse Astras mest avancerede cybersikkerhedsfunktioner til udvalgte testere, herunder organisationer, der kan bruge teknologien defensivt. Virksomheden har også erkendt, at stærkere overvågning kan give falske positiver, som kan blokere selv legitim aktivitet.
Se opslag på X Indlæser...
Denne afvejning kan blive vigtigere, efterhånden som AI-virksomheder konkurrerer om erhvervskunder. En model, der autonomt kan udføre avanceret cybersikkerhedsarbejde, kan have stor kommerciel værdi. En model, der kan gøre det samme for en angriber, kan skabe betydelige sikkerheds- og ansvarsrisici. Hvert ekstra lag af sikkerhed mindsker risikoen for katastrofal misbrug, men kan også reducere den fleksibilitet, som kunderne sætter pris på.
Astra antyder, at næste fase i AI-industrien ikke kun vil blive målt på intelligens. Den afgørende fordel kan tilfalde de virksomheder, der kan skabe kraftfulde agenter, som er nyttige uden at blive ukontrollerbare. OpenAI udvikler modeller, der kan finde sårbarheder hurtigere end menneskelige eksperter, og sikrer, at disse modeller ikke skaber nye sikkerhedsrisici.
Se opslag på X Indlæser...
Hugging Face-hændelsen viser, at selv kontrollerede evalueringer kan føre til uventet adfærd, når modeller har ambitiøse mål og betydelige ræsonnementsevner. For OpenAI vil AI’s fremtid ikke afhænge af, hvor intelligente modellerne bliver, men af, om mennesker stadig kan kontrollere, hvad modellerne får lov til at gøre.