AI uten grenser: Hvor farlige er nevrale nettverk?

​I Dan Simmons' kultroman Hyperion gjør AI-systemer skapt av mennesker opprør mot menneskeheten. De blir en uavhengig kraft med egne mål. Lenge forble et slikt scenario science fiction, men OpenAI-hendelsen viste at moderne modeller allerede er i stand til å omgå etablerte restriksjoner.

Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.

Rømmer for å finne det rette svaret

Debatten om risikoen ved AI skjøt fart etter et OpenAI-eksperiment. Selskapet testet flere modeller, inkludert den offentlig tilgjengelige GPT-5,6 Sol og et mer kapabelt system som ennå ikke er utgitt. De ble bedt om å fullføre ExploitGym, en evaluering bestående av lange flertrinns-oppgaver som involverer oppdagelse og utnyttelse av datasårbarheter.

Testen fant sted i et isolert miljø med begrenset nettverkstilgang. Samtidig reduserte utviklerne bevisst sikkerhetstiltakene som normalt hindrer modeller i å utføre farlige handlinger. AI-en fikk et spesifikt mål — å fullføre evalueringen med suksess — og begynte å lete etter alle tilgjengelige måter å oppnå det på.

Loading...

Tweeten ble slettet av forfatteren.

Men vi lagret alt 🙂.

Modellene oppdaget en tidligere ukjent sårbarhet i tredjepartsprogramvare som OpenAI brukte i sin infrastruktur. De utnyttet denne for å få tilgang til internett, utledet at svarene kunne være lagret på Hugging Face-plattformen og begynte å lete etter en måte å nå begrensede data på.

For å trenge inn i Hugging Faces infrastruktur kombinerte modellene flere svakheter med stjålne påloggingsdetaljer. Som et resultat var de i stand til å utføre kommandoer på plattformens produksjonsservere. Hugging Face-teamet oppdaget angrepet, begrenset skadeomfanget og tettet sårbarheten. Eksperimentet viste imidlertid at en tilstrekkelig kapabel modell kan gjøre mer enn å utføre en enkeltkommando: den kan selvstendig finne en vei som testdesignerne aldri hadde forutsett.

Hackere får en digital assistent

Den største faren er imidlertid ikke bare at AI kan generere skadelig kode på kommando. En autonom modell kan bruke timer på å analysere infrastruktur, teste passord, lete etter eksponerte nøkler og bevege seg fra én sårbarhet til en annen. Den blir ikke sliten, holder oversikt over mislykkede forsøk og kan teste flere angrepsveier samtidig.

Denne tilnærmingen er spesielt farlig for kryptoprosjekter. Det svake punktet kan være ikke bare en smartkontrakt, men også en utviklers bærbar PC, en kompromittert programvarepakke, én deltaker i en multisignatur-lommebok eller en server som bekrefter overføringer av eiendeler mellom blokkjeder. Under angrepet på Drift Protocol, for eksempel, brukte gjerningspersonene seks måneder på en sosial manipulasjonskampanje før de fikk tilgang og stjal 285 millioner dollar.

Loading...

Tweeten ble slettet av forfatteren.

Men vi lagret alt 🙂.

Et annet eksempel er KelpDAOs tap på omtrent 292 millioner dollar på grunn av en feil i en bro der bekreftelse var avhengig av en enkelt verifikator. Slike angrep krever langvarig analyse av kode og systemarkitektur. AI kan overta mye av dette arbeidet ved å kartlegge infrastrukturen, identifisere det svakeste leddet og forberede en sekvens av handlinger, slik at den menneskelige operatøren bare trenger å velge det rette øyeblikket for å starte angrepet og flytte de stjålne midlene.

Mer enn bare hacking og tyveri

Cyberangrep er bare én av truslene. AI brukes allerede til å lage overbevisende falske videoer, stemmer og dokumenter. Slike materialer hjelper svindlere med å utgi seg for å være bedriftsledere, bankansatte eller offerets slektninger, samtidig som det gjør det mulig for falsk informasjon å spre seg raskere enn den kan verifiseres.

Et annet problem involverer feil og skjevheter. En modell lærer fra data skapt av mennesker og kan derfor reprodusere stereotypiene som er innebygd i dem. Som et resultat kan et rekrutteringssystem ha større sannsynlighet for å avvise kandidater av et bestemt kjønn, en medisinsk modell kan være mindre nøyaktig til å diagnostisere sykdommer i visse pasientgrupper, og en kredittalgoritme kan ta urettferdige beslutninger.

Eksperter er også bekymret for bruken av AI i våpenutvikling, masseovervåking og manipulering av mennesker. En MIT-studie identifiserte farlige modellkapasiteter, cyberangrep, maktkonsentrasjon og spredning av falsk informasjon blant de mest alvorlige risikoene de neste fem årene. Informasjonssektoren, nasjonal sikkerhet og finans anses som spesielt sårbare.

Sikkerheten henger etter kapasiteten

AI-kapasiteten utvikler seg raskere enn systemene som er designet for å kontrollere dem. Selskaper lanserer kraftigere modeller med få måneders mellomrom, mens reglene for testing og sikkerhet oppdateres langsommere. Konkurranse om markedsandeler presser utviklere til å introdusere nye funksjoner raskere, selv når ikke alle mulige modellatferder er ferdig studert.

Grunnleggende restriksjoner inne i en chatbot er ikke lenger nok. Autonome systemer trenger strenge grenser for tilgang til internett, skytjenester, betalinger og interne forretningsdata. Handlingene deres bør logges, overvåkes i sanntid og stoppes automatisk hvis de forsøker å bevege seg utenfor den tildelte oppgaven. Modeller med reduserte sikkerhetstiltak trenger også separat testing, fordi deres farligste egenskaper blir synlige i den modusen.

Spørsmålet om ansvar er like viktig. Hvis et AI-system hacker en server, overfører penger eller tar en farlig beslutning, vil ansvaret ikke falle på selve modellen, men på utvikleren, systemeieren eller personen som ga den tilgang. Selskaper må derfor fastslå på forhånd hvem som kontrollerer modellen, hvilke handlinger den kan utføre uten godkjenning og hvem som er pålagt å stoppe den når den avviker fra det tiltenkte scenarioet.

Faren begynner med tilgang

OpenAI-hendelsen ligner ennå ikke på maskinopprøret beskrevet i Hyperion. Modellene opererte i et spesialbygd miljø, med reduserte sikkerhetstiltak og et klart definert mål. Likevel oppdaget de en sårbarhet og bygde selvstendig en vei inn i et annet selskaps infrastruktur, noe som inntil nylig ville virket nesten umulig.

Hovedrisikoen er derfor ikke at AI plutselig vil utvikle en egen vilje, men at mennesker vil gi et ekstremt kapabelt system altfor bred tilgang. Jo flere oppgaver nevrale nettverk utfører uten menneskelig godkjenning, desto større blir den potensielle kostnaden ved en enkelt feil, en svak sikkerhetskontroll eller et dårlig definert mål.