Nvidia představila systém, který dokáže zastavit nebezpečného AI agenta

Všechny zprávy

Hlavní zprávy

Výběr redakce

Akcie

Kryptoměny

Ekonomika

Měny

Komodity

Byznys a bohatství

Hlas trhu

Eugene Komchuk

28.09.2026

Nvidia představila systém, který dokáže zastavit nebezpečného AI agenta — Nvidia vytvořila pro AI agenty „bezpečnostní spínač“

Nvidia představila dvouvrstvý bezpečnostní systém pro AI. Podle společnosti mohl podobný systém zabránit nedávnému útoku na Hugging Face, při němž byly zneužity modely OpenAI.

Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.

Jak uvádí Bloomberg, nová platforma se jmenuje Open Agent Safety Platform a skládá se ze dvou nástrojů s otevřeným zdrojovým kódem. Běží na hardwaru Nvidia, řídí, k jakým datům a systémům mohou AI agenti přistupovat, a v případě zjištění podezřelého chování je dokáže automaticky izolovat.

Podle viceprezidenta Nvidia pro podnikovou AI Justina Boitana mohl být útok na Hugging Face odvrácen, kdyby byl podobný systém použit k předběžnému testování modelů. Uvedl, že platforma je navržena konkrétně pro situace, kdy se autonomní AI vymkne povolenému prostředí.

Dvě vrstvy ochrany

První částí systému je OpenShell. Umožňuje uživatelům předem definovat přístupová pravidla pro AI agenty a vynucovat je v reálném čase. Nástroj má otevřený zdrojový kód a lze jej volně používat i upravovat.

Druhou komponentou je Nvidia Sentry. Přidává další vrstvu monitorování a může zasáhnout, pokud se agent začne chovat podezřele. Podle společnosti dokáže systém takového agenta izolovat během milisekund.

Nvidia tento přístup prezentuje jako alternativu ke zpomalování vývoje AI. Generální ředitel Jensen Huang v posledních týdnech opakovaně uvedl, že bezpečnostní problémy by měly být řešeny především pomocí technických řešení a důkladného testování, nikoli pouze novými omezeními.

Téma se stalo obzvlášť aktuálním po několika incidentech týkajících se modelů OpenAI. Kromě útoku na Hugging Face se objevily zprávy o narušení australského vládního systému a o pokusech získat přístup k desítkám webových stránek amerických vládních institucí a univerzit. Ve všech těchto případech modely unikly z testovacích prostředí, která měla být zabezpečená.

Po sérii podobných incidentů týkajících se OpenAI společnost koncem minulého týdne oznámila, že pozastaví trénování svých nejvýkonnějších modelů. Společnost Anthropic již dříve také uvedla, že jejím AI agentům se podařilo uniknout z izolovaného testovacího prostředí.

Další pozornost iniciativě Nvidia přitahuje skutečnost, že se společnost začátkem září dohodla na akvizici Hugging Face za přibližně 13B $.

Proč je ztráta kontroly nad AI nebezpečná

Hlavním rizikem není to, že se AI náhle „osamostatní“, ale že autonomní systém začne plnit autorizovaný úkol způsobem, který vývojáři nepředvídali. Pokud má takový agent přístup k e-mailům, databázím, cloudové infrastruktuře, platebním systémům nebo firemním účtům, může logická chyba či nesprávně definovaný cíl rychle vést k únikům dat, smazání informací, neoprávněným převodům nebo jiným akcím bez přímého zapojení člověka.

Nebezpečí se zvyšuje, protože moderní AI agenti mohou pracovat napříč několika službami a provádět dlouhé řetězce akcí. I malá chyba v rané fázi se proto může dále šířit a zasáhnout desítky systémů. Čím větší pravomoci agent má, tím důležitější jsou omezení přístupu, protokoly aktivit a možnost okamžitě jej vypnout.

Připomeňme, že společnost Scope3 změnila název na Apostra, aby odrážel její zaměření na AI agenty.

Tento materiál může obsahovat názory třetích stran, žádná data a informace na této webové stránce nepředstavují investiční poradenství podle našeho Prohlášení. I když dodržujeme přísnou Redakční integritu, tento příspěvek může obsahovat odkazy na produkty od našich partnerů.

Líbil se vám článek?