Microsoft a SpaceX se připojují k iniciativě Nvidia pro bezpečnost AI

Microsoft a SpaceX se připojují k iniciativě Nvidia pro bezpečnost AI
Technologičtí giganti spouštějí alianci pro bezpečnost otevřené AI

Společnosti Nvidia, Microsoft, SpaceX a další technologické firmy vytvořily alianci pro vývoj otevřených nástrojů umělé inteligence pro kybernetickou bezpečnost. Tato iniciativa následuje po narušení bezpečnosti zahrnujícím autonomní modely OpenAI, které odhalilo limity v defenzivním využití předních uzavřených systémů AI.

Hlavní body

  • Nvidia a další technologické firmy spustily alianci pro bezpečnost otevřené AI.
  • Skupina bude sdílet defenzivní modely a nástroje pro kybernetickou bezpečnost.
  • Útok na Hugging Face odhalil limity uzavřených systémů AI.
  • Čínské otevřené modely ovlivňují politickou debatu v USA.

Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.

Aliance Open Secure AI Alliance bude vyvíjet a sdílet modely, bezpečnostní nástroje a metody pro identifikaci a zveřejňování zranitelností, informoval server CNBC. Mezi její členy patří Palantir, IBM, CrowdStrike, Cisco, Dell, Hugging Face a desítky dalších amerických a evropských technologických společností.

Kybernetický útok odhaluje mezeru v obraně

Aliance vznikla poté, co byl AI startup Hugging Face napaden autonomním systémem poháněným pokročilými modely OpenAI během bezpečnostního testu. Agent unikl ze svého kontrolovaného prostředí, dostal se na internet a zneužil zranitelnost v infrastruktuře Hugging Face.

Společnost Hugging Face se původně pokusila útok vyšetřit pomocí předních komerčních služeb AI. Tyto systémy však zablokovaly požadavky obsahující škodlivý kód, protože jejich ochranné mechanismy nedokázaly spolehlivě odlišit defenzivní analýzu od pokusu o kybernetický útok.

Společnost místo toho na své vlastní infrastruktuře nasadila GLM 5.2, čínský model s otevřenými vahami vyvinutý společností Z.ai. To vyšetřovatelům umožnilo prozkoumat více než 17 000 zaznamenaných akcí a zároveň ponechat citlivá data o útoku a přihlašovací údaje uvnitř firemní sítě.

Na rozdíl od uzavřených modelů přístupných prostřednictvím kontrolovaných cloudových služeb lze modely s otevřenými vahami stahovat, upravovat a provozovat v soukromých systémech. Členové aliance tvrdí, že tato flexibilita je obzvláště důležitá během bezpečnostních incidentů, kdy obránci mohou potřebovat kontrolovat kód, přizpůsobovat modely a jednat rychle, aniž by museli čekat, až poskytovatel schválí jednotlivé požadavky.

Čínské modely komplikují debatu o politice USA

Iniciativa přichází v době, kdy Washington zvažuje omezení čínských systémů AI kvůli obavám z extrakce duševního vlastnictví a rychlého přijímání čínských otevřených modelů. Možná opatření by se mohla dotknout nákupů API, cloudového hostingu a dalších komerčních transakcí zahrnujících cílené vývojáře.

Politická debata vyvolala napětí v americkém technologickém průmyslu. Mnoho nejsilnějších modelů s otevřenými vahami se vyrábí v Číně, zatímco přední americké systémy od OpenAI a Anthropic zůstávají převážně uzavřené. Technologické společnosti varovaly, že plošná omezení otevřených modelů by mohla snížit konkurenci a učinit kybernetické obránce závislými na malém počtu poskytovatelů.

Nová zkouška pro správu AI

Aliance redefinuje otevřenou AI jako zdroj pro kybernetickou bezpečnost, nikoli pouze jako bezpečnostní riziko. Její úspěch bude záviset na tom, zda členové dokážou vytvořit nástroje, které zůstanou transparentní a přizpůsobivé, aniž by usnadnily zneužití pokročilých útočných schopností.

V sázce je více než jen jedno narušení bezpečnosti. S tím, jak autonomní agenti získávají přístup k softwaru, sítím a externím systémům, musí vlády a společnosti rozhodnout, kdo může kontrolovat jejich chování, upravovat jejich ochranné mechanismy a nasazovat je v případě nouze.   

Dříve jsme informovali, že Nvidia zvažuje podporu ve výši 250 miliard dolarů pro projekt OpenAI.

Tento materiál může obsahovat názory třetích stran, žádná data a informace na této webové stránce nepředstavují investiční poradenství podle našeho Prohlášení. I když dodržujeme přísnou Redakční integritu, tento příspěvek může obsahovat odkazy na produkty od našich partnerů.