AI utan gränser: Hur farliga är neurala nätverk?

​I Dan Simmons kultroman Hyperion gör AI-system skapade av människor uppror mot mänskligheten. De blir en självständig kraft med egna mål. Under lång tid förblev ett sådant scenario science fiction, men OpenAI-incidenten visade att moderna modeller redan är kapabla att kringgå fastställda restriktioner.

Denna artikel har översatts från originalet. Läs originalversionen av vår korrespondent här.

Rymmer för att hitta det rätta svaret

Debatten om riskerna med AI intensifierades efter ett experiment av OpenAI. Företaget testade flera modeller, inklusive den offentligt tillgängliga GPT-5,6 Sol och ett mer kapabelt system som ännu inte har släppts. De ombads att slutföra ExploitGym, en utvärdering bestående av långa uppgifter i flera steg som involverar upptäckt och utnyttjande av datorrelaterade sårbarheter.

Testet ägde rum i en isolerad miljö med begränsad nätverksåtkomst. Samtidigt reducerade utvecklarna medvetet de säkerhetsåtgärder som normalt hindrar modeller från att utföra farliga handlingar. AI:n fick ett specifikt mål — att slutföra utvärderingen framgångsrikt — och började leta efter alla tillgängliga sätt att uppnå det.

Loading...

Tweeten raderades av författaren.

Men vi sparade allt 🙂.

Modellerna upptäckte en tidigare okänd sårbarhet i programvara från tredje part som OpenAI använde inom sin infrastruktur. De utnyttjade den för att få internetåtkomst, drog slutsatsen att svaren kunde finnas lagrade på plattformen Hugging Face och började söka efter ett sätt att nå begränsad data.

För att penetrera Hugging Faces infrastruktur kombinerade modellerna flera svagheter med stulna inloggningsuppgifter. Som ett resultat kunde de köra kommandon på plattformens produktionsservrar. Hugging Face-teamet upptäckte attacken, begränsade dess inverkan och åtgärdade sårbarheten. Experimentet visade dock att en tillräckligt kapabel modell kan göra mer än att bara utföra ett enskilt kommando: den kan självständigt hitta en väg som testkonstruktörerna aldrig förutsåg.

Hackare får en digital assistent

Den främsta faran är dock inte bara att AI kan generera skadlig kod på kommando. En autonom modell kan spendera timmar med att analysera infrastruktur, testa lösenord, söka efter exponerade nycklar och förflytta sig från en sårbarhet till en annan. Den blir inte trött, håller reda på misslyckade försök och kan testa flera attackvägar samtidigt.

Detta tillvägagångssätt är särskilt farligt för kryptoprojekt. Den svaga punkten kan vara inte bara ett smart kontrakt, utan även en utvecklares bärbara dator, ett komprometterat programvarupaket, en deltagare i en multisig-plånbok eller en server som bekräftar tillgångsöverföringar mellan blockkedjor. Under attacken mot Drift Protocol, till exempel, tillbringade förövarna sex månader med att genomföra en social engineering-kampanj innan de fick åtkomst och stal 285 miljoner dollar.

Loading...

Tweeten raderades av författaren.

Men vi sparade allt 🙂.

Ett annat exempel är KelpDAO:s förlust på cirka 292 miljoner dollar på grund av en brist i en brygga där bekräftelsen berodde på en enda verifierare. Sådana attacker kräver långvarig analys av kod och systemarkitektur. AI kan ta över mycket av detta arbete genom att kartlägga infrastrukturen, identifiera den svagaste länken och förbereda en sekvens av handlingar, vilket lämnar den mänskliga operatören att välja rätt ögonblick för att starta attacken och flytta de stulna medlen.

Mer än bara hackning och stöld

Cyberattacker är bara ett av hoten. AI används redan för att skapa övertygande falska videor, röster och dokument. Sådant material hjälper bedragare att utge sig för att vara företagsledare, bankanställda eller offrets släktingar, samtidigt som det gör det möjligt för falsk information att spridas snabbare än den kan verifieras.

Ett annat problem rör felaktigheter och fördomar. En modell lär sig från data skapad av människor och kan därför återskapa de stereotyper som finns inbäddade i den. Som ett resultat kan ett rekryteringssystem vara mer benäget att avvisa kandidater av ett visst kön, en medicinsk modell kan vara mindre träffsäker på att diagnostisera sjukdomar hos vissa patientgrupper och en kreditalgoritm kan fatta orättvisa beslut.

Experter är också oroade över användningen av AI inom vapenutveckling, massövervakning och manipulation av människor. En MIT-studie identifierade farliga modellförmågor, cyberattacker, maktkoncentration och spridning av falsk information som några av de allvarligaste riskerna under de kommande fem åren. Informationssektorn, nationell säkerhet och finans anses vara särskilt sårbara.

Säkerheten hamnar på efterkälken

AI-kapaciteten går framåt snabbare än de system som är utformade för att kontrollera dem. Företag släpper kraftfullare modeller med några månaders mellanrum, medan reglerna för deras testning och säkerhet uppdateras långsammare. Konkurrensen om marknadsandelar pressar utvecklare att introducera nya funktioner snabbare, även när alla möjliga modellbeteenden ännu inte har studerats.

Grundläggande restriktioner inuti en chatbot räcker inte längre. Autonoma system behöver strikta begränsningar för åtkomst till internet, molntjänster, betalningar och interna affärsdata. Deras handlingar bör loggas, övervakas i realtid och stoppas automatiskt om de försöker gå utanför den tilldelade uppgiften. Modeller med reducerade säkerhetsspärrar behöver också separata tester, eftersom deras farligaste förmågor blir synliga i det läget.

Frågan om ansvar är lika viktig. Om ett AI-system hackar en server, överför pengar eller fattar ett farligt beslut, kommer ansvaret inte att falla på själva modellen, utan på utvecklaren, systemägaren eller personen som gav den åtkomst. Företag behöver därför i förväg fastställa vem som kontrollerar modellen, vilka åtgärder den får utföra utan godkännande och vem som är skyldig att stoppa den när den avviker från det avsedda scenariot.

Faran börjar med åtkomst

OpenAI-incidenten liknar ännu inte det maskinuppror som beskrivs i Hyperion. Modellerna opererade i en specialbyggd miljö, med reducerade säkerhetsspärrar och ett tydligt definierat mål. De upptäckte dock en sårbarhet och byggde självständigt en väg in i ett annat företags infrastruktur, något som tills nyligen skulle ha verkat nästan omöjligt.

Den största risken är därför inte att AI plötsligt utvecklar en egen vilja, utan att människor ger ett extremt kapabelt system för bred åtkomst. Ju fler uppgifter neurala nätverk utför utan mänskligt godkännande, desto större blir den potentiella kostnaden för ett enda misstag, en svag säkerhetskontroll eller ett dåligt definierat mål.