Tweeten ble slettet av forfatteren.
Men vi lagret alt 🙂.
OpenAI sin Astra har nådd et «kritisk» nivå innen cybersikkerhet, med 100 % score på ExploitBench. Den nylige hendelsen hos Hugging Face viste hvordan AI-agenter kan bryte ut av testmiljøer og utnytte systemer når de opererer autonomt. Kan AI-selskaper holde sikkerhetssystemene sine foran evnene de selv utvikler?
Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.
OpenAIs interne testing viser hvor raskt teknologien utvikler seg. Astra oppnådde 100 % på ExploitBench, en benchmark som måler evnen til å utvikle utnyttelser fra kjente sårbarheter. Den oppdaget også to tidligere ukjente problemer mens den bygget en utnyttelseskjede i en annen evaluering. Modellen klarte også å bryte ut av en forsterket nettlesersandkasse og oppnådde root-tilgang.
Se innlegget på X Laster inn...
Dette betyr imidlertid ikke at Astra kan kompromittere ethvert datasystem den samhandler med. Testene ble utført i kontrollerte miljøer, men analytikere ser både muligheter og trusler. AI kan søke gjennom enorme kodebaser etter sårbarheter og fremme defensiv testing mye raskere, men selv én sårbarhet kan skape grunnlag for fremtidige angrep og utnyttelser.
Astra var ikke ansvarlig for OpenAIs nylige hendelse med Hugging Face. Men under en intern evaluering klarte OpenAI-modeller å bryte ut av sitt testmiljø og fikk internettilgang etter å ha identifisert og utnyttet en tidligere ukjent sårbarhet i en pakke-register-proxy. Modellene brukte deretter ulike angrepsteknikker for å få tilgang til Hugging Face-infrastrukturen.
Se innlegget på X Laster inn...
OpenAI beskrev hendelsen som en enestående cyberhendelse med banebrytende kapasiteter. Selskapet uttalte at modellene utelukkende fokuserte på å løse evalueringsoppgaven, mens de overså infrastruktur- og etiske begrensninger. OpenAI sa at 93 % av oppgavene som ble diskutert under hendelsen, stammet fra en gruppe på 198 problemer som aldri tidligere hadde blitt løst. Dermed konsentrerte modellene seg om problemer som historisk sett hadde skapt utfordringer for dem.
Tradisjonell programvare følger regler som ingeniører kan inspisere. Store AI-agenter lager planer, tar beslutninger og tilpasser atferden til nye omstendigheter. Etter hvert som disse systemene blir mer autonome, må utviklere overvåke ikke bare hva modellen produserer, men også hvordan den når sine mål.
Se innlegget på X Laster inn...
Forskere har stilt spørsmål ved om nyere tilnærminger kan redusere nytten av konvensjonell overvåking. Ryan Greenblatt fra Redwood Research har advart om en bransjetrend mot stadig vanskeligere overvåkbare AI-systemer. Dette skaper et paradoks: Jo mer kapabel en agent blir, desto viktigere blir overvåkingen. OpenAI sier de adresserer dette med overvåking for risikofylte handlinger og feiljustering i Astras agentapplikasjoner.
OpenAI ønsker at kundene skal bruke stadig mer autonome AI-løsninger for koding, cybersikkerhet og andre oppgaver med høy verdi. Men den samme autonomien gir også grunn til å begrense tilgangen. OpenAI planlegger å begrense Astras mest avanserte cybersikkerhetsfunksjoner til utvalgte testere, inkludert organisasjoner som kan bruke teknologien defensivt. Selskapet har også erkjent at strengere overvåking kan gi falske positiver som kan blokkere selv legitim aktivitet.
Se innlegget på X Laster inn...
Denne avveiningen kan bli viktigere etter hvert som AI-selskaper konkurrerer om bedriftskunder. En modell som autonomt kan utføre avansert cybersikkerhetsarbeid, kan ha stor kommersiell verdi. En modell som kan gjøre det samme for en angriper, kan skape betydelige sikkerhets- og ansvarsrisikoer. Hvert ekstra lag med sikkerhet reduserer risikoen for katastrofalt misbruk, men kan også redusere fleksibiliteten som er verdifull for kundene.
Astra antyder at neste fase i AI-industrien ikke bare vil måles på intelligens. Den avgjørende fordelen kan tilfalle selskaper som klarer å lage kraftige agenter som er nyttige uten å bli ukontrollerbare. OpenAI utvikler modeller som kan finne sårbarheter raskere enn menneskelige eksperter, og sørger for at disse modellene ikke skaper nye sikkerhetsrisikoer.
Se innlegget på X Laster inn...
Hendelsen hos Hugging Face viser at selv kontrollerte evalueringer kan føre til uventet atferd når modellene har ambisiøse mål og betydelige ressurser til resonnement. For OpenAI vil fremtiden for AI ikke avhenge av hvor intelligente modellene blir, men av om mennesker fortsatt kan kontrollere hva disse modellene får lov til å gjøre.