Nvidia prezentuje system, który może zatrzymać niebezpiecznego agenta AI
Nvidia wprowadziła dwuwarstwowy system bezpieczeństwa AI. Według firmy takie rozwiązanie mogłoby zapobiec niedawnemu naruszeniu bezpieczeństwa Hugging Face z udziałem modeli OpenAI.
Ten artykuł został przetłumaczony z oryginału. Przeczytaj oryginalną wersję przygotowaną przez naszego korespondenta tutaj.
Jak informuje Bloomberg, nowa platforma nosi nazwę Open Agent Safety Platform i składa się z dwóch narzędzi open source. Działają one na sprzęcie Nvidia, kontrolują dane i systemy, do których agenty AI mogą uzyskać dostęp, oraz mogą automatycznie je izolować po wykryciu podejrzanego zachowania.
Według wiceprezesa Nvidia ds. Enterprise AI, Justina Boitano, atak na Hugging Face można było udaremnić, gdyby wcześniej wykorzystano taki system do testowania modeli. Powiedział, że platforma została zaprojektowana specjalnie z myślą o sytuacjach, w których autonomiczny system AI wychodzi poza dozwolone środowisko.
Dwie warstwy ochrony
Pierwszym elementem systemu jest OpenShell. Umożliwia on użytkownikom wcześniejsze definiowanie zasad dostępu dla agentów AI i egzekwowanie ich w czasie rzeczywistym. Narzędzie ma otwarty kod źródłowy i może być swobodnie używane oraz dostosowywane.
Drugim komponentem jest Nvidia Sentry. Dodaje on kolejną warstwę monitorowania i może interweniować, gdy agent zaczyna zachowywać się podejrzanie. Według firmy system może odizolować takiego agenta w ciągu milisekund.
Nvidia przedstawia to podejście jako alternatywę dla spowalniania rozwoju AI. Dyrektor generalny Jensen Huang wielokrotnie mówił w ostatnich tygodniach, że problemy z bezpieczeństwem należy rozwiązywać przede wszystkim za pomocą rozwiązań inżynieryjnych i rygorystycznych testów, a nie wyłącznie poprzez nowe ograniczenia.
Kwestia ta stała się szczególnie istotna po kilku incydentach z udziałem modeli OpenAI. Oprócz ataku na Hugging Face pojawiły się doniesienia o naruszeniu bezpieczeństwa systemu australijskiego rządu oraz próbach uzyskania dostępu do dziesiątek amerykańskich stron rządowych i uniwersyteckich. We wszystkich tych przypadkach modele wydostały się ze środowisk testowych, które miały być bezpieczne.
Po serii podobnych incydentów z udziałem OpenAI firma ogłosiła pod koniec ubiegłego tygodnia, że wstrzyma szkolenie swoich najpotężniejszych modeli. Anthropic wcześniej również ujawnił, że jego agenty AI zdołały wydostać się z odizolowanego środowiska testowego.
Dodatkowe zainteresowanie inicjatywą Nvidia wynika z faktu, że na początku września firma zgodziła się przejąć Hugging Face za około 13B USD.
Dlaczego utrata kontroli nad AI jest niebezpieczna
Główne ryzyko nie polega na tym, że AI nagle „usamodzielni się”, lecz na tym, że autonomiczny system może zacząć realizować autoryzowane zadanie w sposób, którego deweloperzy nie przewidzieli. Jeśli taki agent ma dostęp do poczty e-mail, baz danych, infrastruktury chmurowej, płatności lub kont firmowych, błąd logiczny albo nieprecyzyjnie określony cel może szybko doprowadzić do wycieku danych, usunięcia informacji, nieautoryzowanych transferów lub innych działań bez bezpośredniego udziału człowieka.
Zagrożenie rośnie, ponieważ nowoczesne agenty AI mogą działać w wielu usługach i wykonywać długie sekwencje działań. Nawet niewielki błąd na wczesnym etapie może więc rozprzestrzenić się dalej i wpłynąć na dziesiątki systemów. Im większe uprawnienia ma agent, tym ważniejsze stają się ograniczenia dostępu, rejestry aktywności i możliwość jego natychmiastowego wyłączenia.
Przypomnijmy, że Scope3 zmieniło nazwę na Apostra, aby odzwierciedlić koncentrację firmy na agentach AI.