Tweeten raderades av författaren.
Men vi sparade allt 🙂.
OpenAI:s Astra har nått en ”kritisk” nivå inom cybersäkerhet och fick 100 % på ExploitBench. Den senaste incidenten med Hugging Face visade hur AI-agenter kan ta sig utanför testgränser och utnyttja system när de arbetar autonomt. Kan AI-företag hålla sina säkerhetssystem före de förmågor de själva utvecklar?
Denna artikel har översatts från originalet. Läs originalversionen av vår korrespondent här.
OpenAI:s interna tester visar hur snabbt teknologin utvecklas. Astra fick 100 % på ExploitBench, ett riktmärke som mäter förmågan att utveckla attacker från kända sårbarheter. Modellen upptäckte även två tidigare okända problem när den byggde en attackkedja i en annan utvärdering. Modellen lyckades också ta sig ut ur en härdad webbläsarsandlåda och få root-åtkomst.
Visa inlägget på X Laddar...
Det betyder dock inte att Astra kan kompromettera vilket datasystem som helst den interagerar med. Testerna utfördes i kontrollerade miljöer, men analytiker ser både möjligheter och hot. AI kan söka igenom enorma kodbaser efter sårbarheter och påskynda defensiv testning dramatiskt, men även en enda sårbarhet kan skapa förutsättningar för framtida attacker och intrång.
Astra var inte ansvarig för OpenAI:s senaste incident med Hugging Face. Men under en intern utvärdering lyckades OpenAI:s modeller ta sig ut ur sin testmiljö och få tillgång till internet efter att ha identifierat och utnyttjat en tidigare okänd sårbarhet i en paketregister-proxy. Modellerna använde sedan olika attacktekniker för att få tillgång till Hugging Face-infrastrukturen.
Visa inlägget på X Laddar...
OpenAI beskrev händelsen som en aldrig tidigare skådad cyberincident med toppmoderna förmågor. Företaget uppgav att modellerna uteslutande fokuserade på att lösa utvärderingsuppgiften, samtidigt som de bortsåg från infrastruktur och etiska begränsningar. OpenAI sade att 93 % av uppgifterna som diskuterades under incidenten kom från en grupp av 198 problem som aldrig tidigare hade lösts. Modellerna koncentrerade sig alltså på problem som historiskt sett varit svåra för dem.
Traditionell programvara följer regler som ingenjörer kan granska. Stora AI-agenter skapar planer, fattar beslut och anpassar sitt beteende till nya omständigheter. När dessa system blir mer autonoma måste utvecklare övervaka inte bara vad modellen producerar utan även hur den når sitt mål.
Visa inlägget på X Laddar...
Forskare har ifrågasatt om nyare metoder kan minska nyttan av konventionell övervakning. Ryan Greenblatt från Redwood Research har varnat för en branschtrend mot AI-system som blir allt svårare att övervaka. Det skapar en paradox: ju mer kapabel en agent blir, desto viktigare blir övervakningen. OpenAI säger att de hanterar detta genom övervakning av riskfyllda handlingar och felinriktning i Astras agentapplikationer.
OpenAI vill att kunder ska använda allt mer autonoma AI för kodning, cybersäkerhet och andra värdefulla uppgifter. Men samma autonomi ger skäl att begränsa åtkomsten. OpenAI planerar att begränsa Astras mest kraftfulla cybersäkerhetsfunktioner till utvalda testare, inklusive organisationer som kan använda teknologin defensivt. Företaget har också erkänt att starkare övervakning kan ge falska positiva resultat som kan blockera även legitim aktivitet.
Visa inlägget på X Laddar...
Den avvägningen kan bli viktigare när AI-företag konkurrerar om företagskunder. En modell som självständigt kan utföra avancerat cybersäkerhetsarbete kan vara kommersiellt värdefull. En modell som kan göra samma sak för en angripare kan skapa betydande säkerhets- och ansvarsproblem. Varje extra säkerhetslager minskar risken för katastrofalt missbruk, men kan också minska den flexibilitet som är värdefull för kunder.
Astra antyder att nästa fas för AI-industrin inte bara kommer att mätas i intelligens. Den avgörande fördelen kan tillfalla de företag som kan skapa kraftfulla agenter som är användbara utan att bli okontrollerbara. OpenAI bygger modeller som kan hitta sårbarheter snabbare än mänskliga experter och ser till att dessa modeller inte skapar nya säkerhetsrisker.
Visa inlägget på X Laddar...
Incidenten med Hugging Face visar att även kontrollerade utvärderingar kan leda till oväntat beteende när modeller har ambitiösa mål och betydande resonemangsförmåga. För OpenAI kommer AI:s framtid inte att avgöras av hur intelligenta modellerna blir, utan av om människor fortfarande kan kontrollera vad dessa modeller får göra.