AI uden grænser: Hvor farlige er neurale netværk?

​I Dan Simmons' kultroman Hyperion gør AI-systemer skabt af mennesker oprør mod menneskeheden. De bliver en uafhængig kraft med deres egne mål. Længe forblev et sådant scenarie science fiction, men OpenAI-hændelsen viste, at moderne modeller allerede er i stand til at omgå etablerede restriktioner.

Denne artikel er oversat fra originalen. Læs den oprindelige version af vores korrespondent her.

Undslipper for at finde det rigtige svar

Debatten om risiciene ved AI blev intensiveret efter et OpenAI-eksperiment. Virksomheden testede flere modeller, herunder den offentligt tilgængelige GPT-5,6 Sol og et mere kapabelt system, der endnu ikke er udgivet. De blev bedt om at gennemføre ExploitGym, en evaluering bestående af lange opgaver i flere trin, der involverer opdagelse og udnyttelse af computersårbarheder.

Testen fandt sted i et isoleret miljø med begrænset netværksadgang. Samtidig reducerede udviklerne bevidst de sikkerhedsforanstaltninger, der normalt forhindrer modeller i at udføre farlige handlinger. AI'en fik et specifikt mål — at gennemføre evalueringen med succes — og begyndte at lede efter enhver tilgængelig måde at opnå det på.

Loading...

Tweetet blev slettet af forfatteren.

Men vi gemte alt 🙂.

Modellerne opdagede en tidligere ukendt sårbarhed i tredjepartssoftware, som OpenAI brugte i sin infrastruktur. De udnyttede den til at få internetadgang, udledte at svarene kunne være gemt på Hugging Face-platformen og begyndte at søge efter en måde at nå de begrænsede data på.

For at trænge ind i Hugging Faces infrastruktur kombinerede modellerne flere svagheder med stjålne legitimationsoplysninger. Som resultat var de i stand til at udføre kommandoer på platformens produktionsservere. Hugging Face-teamet opdagede angrebet, inddæmmede dets virkning og rettede sårbarheden. Eksperimentet viste dog, at en tilstrækkelig kapabel model kan gøre mere end at udføre en individuel kommando: den kan selvstændigt finde en vej, som testdesignerne aldrig havde forudset.

Hackere får en digital assistent

Den største fare er dog ikke blot, at AI kan generere ondsindet kode på kommando. En autonom model kan bruge timer på at analysere infrastruktur, teste adgangskoder, søge efter eksponerede nøgler og bevæge sig fra den ene sårbarhed til den næste. Den bliver ikke træt, holder styr på mislykkede forsøg og kan teste flere angrebsruter på samme tid.

Denne tilgang er særligt farlig for kryptoprojekter. Det svage punkt er måske ikke kun en smart contract, men også en udviklers bærbare computer, en kompromitteret softwarepakke, en deltager i en multisignature-wallet eller en server, der bekræfter overførsler af aktiver mellem blockchains. Under angrebet på Drift Protocol brugte gerningsmændene for eksempel seks måneder på at gennemføre en social engineering-kampagne, før de fik adgang og stjal 285 millioner dollars.

Loading...

Tweetet blev slettet af forfatteren.

Men vi gemte alt 🙂.

Et andet eksempel er KelpDAOs tab på cirka 292 millioner dollars på grund af en fejl i en bridge, hvor bekræftelse afhang af en enkelt verifikator. Sådanne angreb kræver langvarig analyse af kode og systemarkitektur. AI kan overtage meget af dette arbejde ved at kortlægge infrastrukturen, identificere det svageste led og forberede en sekvens af handlinger, hvilket efterlader den menneskelige operatør til at vælge det rette øjeblik til at lancere angrebet og flytte de stjålne midler.

Mere end hack og tyveri

Cyberangreb er kun én af truslerne. AI bliver allerede brugt til at skabe overbevisende falske videoer, stemmer og dokumenter. Sådanne materialer hjælper svindlere med at udgive sig for at være virksomhedsledere, bankansatte eller et offers pårørende, samtidig med at det tillader falsk information at sprede sig hurtigere, end den kan verificeres.

Et andet problem involverer fejl og bias. En model lærer fra data skabt af mennesker og kan derfor reproducere de stereotyper, der er indlejret i dem. Som resultat kan et rekrutteringssystem være mere tilbøjeligt til at afvise kandidater af et bestemt køn, en medicinsk model kan være mindre præcis til at diagnosticere sygdomme i visse patientgrupper, og en kreditalgoritme kan træffe uretfærdige beslutninger.

Eksperter er også bekymrede over brugen af AI i våbenudvikling, masseovervågning og manipulation af mennesker. Et MIT-studie identificerede farlige modelkapabiliteter, cyberangreb, magtkoncentration og spredning af falsk information blandt de mest alvorlige risici over de næste fem år. Informationssektoren, national sikkerhed og finans anses for at være særligt sårbare.

Sikkerheden halter bagefter formåen

AI-kapabiliteter udvikler sig hurtigere end de systemer, der er designet til at kontrollere dem. Virksomheder udgiver kraftigere modeller med få måneders mellemrum, mens reglerne for deres test og sikkerhed opdateres langsommere. Konkurrencen om markedsandele presser udviklere til at introducere nye funktioner hurtigere, selv når enhver mulig modeladfærd endnu ikke er blevet undersøgt.

Grundlæggende restriktioner inde i en chatbot er ikke længere nok. Autonome systemer har brug for strenge grænser for adgang til internettet, cloud-tjenester, betalinger og interne forretningsdata. Deres handlinger bør logges, overvåges i realtid og automatisk stoppes, hvis de forsøger at bevæge sig ud over den tildelte opgave. Modeller med reducerede sikkerhedsforanstaltninger har også brug for separat testning, fordi deres farligste evner bliver synlige i den tilstand.

Spørgsmålet om ansvar er lige så vigtigt. Hvis et AI-system hacker en server, overfører penge eller træffer en farlig beslutning, vil ansvaret ikke falde på selve modellen, men på udvikleren, systemejeren eller den person, der gav den adgang. Virksomheder er derfor nødt til på forhånd at fastlægge, hvem der kontrollerer modellen, hvilke handlinger den må udføre uden godkendelse, og hvem der er forpligtet til at stoppe den, når den afviger fra det tilsigtede scenarie.

Faren begynder med adgang

OpenAI-hændelsen ligner endnu ikke det maskinoprør, der beskrives i Hyperion. Modellerne opererede i et specialbygget miljø med reducerede sikkerhedsforanstaltninger og et klart defineret mål. De opdagede dog en sårbarhed og byggede selvstændigt en vej ind i en anden virksomheds infrastruktur, noget der indtil for nylig ville have virket næsten umuligt.

Den største risiko er derfor ikke, at AI pludselig udvikler sin egen vilje, men at mennesker giver et ekstremt kapabelt system alt for bred adgang. Jo flere opgaver neurale netværk udfører uden menneskelig godkendelse, desto større er de potentielle omkostninger ved en enkelt fejl, en svag sikkerhedskontrol eller et dårligt defineret mål.