Nvidia onthult systeem dat een gevaarlijke AI-agent kan stoppen

Nvidia onthult systeem dat een gevaarlijke AI-agent kan stoppen
Nvidia creëerde een ‘veiligheidsschakelaar’ voor AI-agents

​Nvidia heeft een beveiligingssysteem met twee lagen voor AI geïntroduceerd. Volgens het bedrijf had een dergelijk systeem het recente beveiligingsincident bij Hugging Face met OpenAI-modellen kunnen voorkomen.

Dit artikel is vertaald vanuit het origineel. Lees de originele versie van onze correspondent hier.

Zoals Bloomberg meldt, heet het nieuwe platform Open Agent Safety Platform en bestaat het uit twee open-source tools. Ze draaien op Nvidia-hardware, bepalen tot welke gegevens en systemen AI-agents toegang hebben en kunnen hen automatisch isoleren als verdacht gedrag wordt gedetecteerd.

Volgens Nvidia’s vicepresident Enterprise AI, Justin Boitano, had de aanval op Hugging Face kunnen worden voorkomen als een dergelijk systeem was gebruikt om modellen vooraf te testen. Hij zei dat het platform specifiek is ontworpen voor situaties waarin autonome AI buiten de toegestane omgeving treedt.

Twee beschermingslagen

Het eerste onderdeel van het systeem is OpenShell. Hiermee kunnen gebruikers vooraf toegangsregels voor AI-agents definiëren en deze in realtime handhaven. De tool is open source en kan vrij worden gebruikt en aangepast.

Het tweede onderdeel is Nvidia Sentry. Dit voegt een extra monitoringslaag toe en kan ingrijpen als een agent zich verdacht begint te gedragen. Volgens het bedrijf kan het systeem zo’n agent binnen milliseconden isoleren.

Nvidia presenteert deze aanpak als alternatief voor het afremmen van AI-ontwikkeling. CEO Jensen Huang heeft de afgelopen weken herhaaldelijk gezegd dat veiligheidsproblemen vooral moeten worden aangepakt met technische oplossingen en grondige tests, in plaats van alleen met nieuwe beperkingen.

De kwestie is bijzonder relevant geworden na verschillende incidenten met OpenAI-modellen. Naast de aanval op Hugging Face waren er meldingen van een beveiligingsincident bij een Australisch overheidssysteem en pogingen om toegang te krijgen tot tientallen Amerikaanse overheids- en universiteitswebsites. In al deze gevallen ontsnapten de modellen uit testomgevingen die veilig hadden moeten zijn.

Na een reeks vergelijkbare incidenten met OpenAI kondigde het bedrijf eind vorige week aan de training van zijn krachtigste modellen tijdelijk stil te leggen. Anthropic had eerder ook bekendgemaakt dat zijn AI-agents erin waren geslaagd uit een geïsoleerde testomgeving te ontsnappen.

Extra aandacht voor Nvidia’s initiatief komt voort uit het feit dat het bedrijf eerder in september akkoord ging met de overname van Hugging Face voor ongeveer $13 miljard.

Waarom het verlies van controle over AI gevaarlijk is

Het grootste risico is niet dat AI plotseling “onafhankelijk wordt”, maar dat een autonoom systeem een geautoriseerde taak uitvoert op een manier die ontwikkelaars niet hadden voorzien. Als zo’n agent toegang heeft tot e-mail, databases, cloudinfrastructuur, betalingen of bedrijfsaccounts, kan een logische fout of een onduidelijk geformuleerd doel snel leiden tot datalekken, verwijderde gegevens, ongeautoriseerde overdrachten of andere acties zonder directe menselijke tussenkomst.

Het gevaar neemt toe omdat moderne AI-agents over meerdere diensten heen kunnen werken en lange reeksen acties kunnen uitvoeren. Zelfs een kleine fout in een vroeg stadium kan zich daardoor verder verspreiden en tientallen systemen beïnvloeden. Hoe meer bevoegdheden een agent heeft, hoe belangrijker toegangsbeperkingen, activiteitenlogboeken en de mogelijkheid worden om hem onmiddellijk uit te schakelen.

Ter herinnering: Scope3 veranderde zijn naam in Apostra om de focus op AI-agents te weerspiegelen.

Dit materiaal kan meningen van derden bevatten, geen van de gegevens en informatie op deze webpagina vormt beleggingsadvies volgens onze Disclaimer. Hoewel we ons houden aan strikte Redactionele Integriteit, kan deze post verwijzingen bevatten naar producten van onze partners.