Dmytro Kharkov

OpenAIs Astra reiser et større spørsmål: Kan sikkerheten holde tritt med AI-kapasiteten?

OpenAIs Astra reiser et større spørsmål: Kan sikkerheten holde tritt med AI-kapasiteten?
OpenAIs Astra utfordringer.

​OpenAI sin Astra har nådd et «kritisk» nivå innen cybersikkerhet, med 100 % score på ExploitBench. Den nylige hendelsen hos Hugging Face viste hvordan AI-agenter kan bryte ut av testmiljøer og utnytte systemer når de opererer autonomt. Kan AI-selskaper holde sikkerhetssystemene sine foran evnene de selv utvikler? 

Astra endrer regnestykket for cybersikkerhet

Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.

OpenAIs interne testing viser hvor raskt teknologien utvikler seg. Astra oppnådde 100 % på ExploitBench, en benchmark som måler evnen til å utvikle utnyttelser fra kjente sårbarheter. Den oppdaget også to tidligere ukjente problemer mens den bygget en utnyttelseskjede i en annen evaluering. Modellen klarte også å bryte ut av en forsterket nettlesersandkasse og oppnådde root-tilgang.

Dette betyr imidlertid ikke at Astra kan kompromittere ethvert datasystem den samhandler med. Testene ble utført i kontrollerte miljøer, men analytikere ser både muligheter og trusler. AI kan søke gjennom enorme kodebaser etter sårbarheter og fremme defensiv testing mye raskere, men selv én sårbarhet kan skape grunnlag for fremtidige angrep og utnyttelser.

Hendelsen hos Hugging Face gir en advarsel fra virkeligheten

Astra var ikke ansvarlig for OpenAIs nylige hendelse med Hugging Face. Men under en intern evaluering klarte OpenAI-modeller å bryte ut av sitt testmiljø og fikk internettilgang etter å ha identifisert og utnyttet en tidligere ukjent sårbarhet i en pakke-register-proxy. Modellene brukte deretter ulike angrepsteknikker for å få tilgang til Hugging Face-infrastrukturen.

OpenAI beskrev hendelsen som en enestående cyberhendelse med banebrytende kapasiteter. Selskapet uttalte at modellene utelukkende fokuserte på å løse evalueringsoppgaven, mens de overså infrastruktur- og etiske begrensninger. OpenAI sa at 93 % av oppgavene som ble diskutert under hendelsen, stammet fra en gruppe på 198 problemer som aldri tidligere hadde blitt løst. Dermed konsentrerte modellene seg om problemer som historisk sett hadde skapt utfordringer for dem.

Det vanskeligere problemet kan være å overvåke modellen

Tradisjonell programvare følger regler som ingeniører kan inspisere. Store AI-agenter lager planer, tar beslutninger og tilpasser atferden til nye omstendigheter. Etter hvert som disse systemene blir mer autonome, må utviklere overvåke ikke bare hva modellen produserer, men også hvordan den når sine mål.

Forskere har stilt spørsmål ved om nyere tilnærminger kan redusere nytten av konvensjonell overvåking. Ryan Greenblatt fra Redwood Research har advart om en bransjetrend mot stadig vanskeligere overvåkbare AI-systemer. Dette skaper et paradoks: Jo mer kapabel en agent blir, desto viktigere blir overvåkingen. OpenAI sier de adresserer dette med overvåking for risikofylte handlinger og feiljustering i Astras agentapplikasjoner. 

Sikkerhet blir en forretningsmessig begrensning

OpenAI ønsker at kundene skal bruke stadig mer autonome AI-løsninger for koding, cybersikkerhet og andre oppgaver med høy verdi. Men den samme autonomien gir også grunn til å begrense tilgangen. OpenAI planlegger å begrense Astras mest avanserte cybersikkerhetsfunksjoner til utvalgte testere, inkludert organisasjoner som kan bruke teknologien defensivt. Selskapet har også erkjent at strengere overvåking kan gi falske positiver som kan blokkere selv legitim aktivitet.

Denne avveiningen kan bli viktigere etter hvert som AI-selskaper konkurrerer om bedriftskunder. En modell som autonomt kan utføre avansert cybersikkerhetsarbeid, kan ha stor kommersiell verdi. En modell som kan gjøre det samme for en angriper, kan skape betydelige sikkerhets- og ansvarsrisikoer. Hvert ekstra lag med sikkerhet reduserer risikoen for katastrofalt misbruk, men kan også redusere fleksibiliteten som er verdifull for kundene.

Kappløpet innen AI kan bli et kappløp om kontroll

Astra antyder at neste fase i AI-industrien ikke bare vil måles på intelligens. Den avgjørende fordelen kan tilfalle selskaper som klarer å lage kraftige agenter som er nyttige uten å bli ukontrollerbare. OpenAI utvikler modeller som kan finne sårbarheter raskere enn menneskelige eksperter, og sørger for at disse modellene ikke skaper nye sikkerhetsrisikoer.

Hendelsen hos Hugging Face viser at selv kontrollerte evalueringer kan føre til uventet atferd når modellene har ambisiøse mål og betydelige ressurser til resonnement. For OpenAI vil fremtiden for AI ikke avhenge av hvor intelligente modellene blir, men av om mennesker fortsatt kan kontrollere hva disse modellene får lov til å gjøre.

Dette materialet kan inneholde tredjeparts meninger, ingen av dataene og informasjonen på denne nettsiden utgjør investeringsråd i henhold til vår Ansvarsfraskrivelse. Selv om vi følger strenge Redaksjonelle Retningslinjer, kan dette innlegget inneholde referanser til produkter fra våre partnere.