Spready od 0,0 pips i bonusy do 100%!
Szybkie wpłaty i wypłaty — natychmiastowy dostęp do Twoich zarobków.
roboforex mini
Zacznij teraz!

Nvidia prezentuje system, który może zatrzymać niebezpiecznego agenta AI

Nvidia prezentuje system, który może zatrzymać niebezpiecznego agenta AI
Nvidia stworzyła „wyłącznik bezpieczeństwa” dla agentów AI

​Nvidia wprowadziła dwuwarstwowy system bezpieczeństwa AI. Według firmy takie rozwiązanie mogłoby zapobiec niedawnemu naruszeniu bezpieczeństwa Hugging Face z udziałem modeli OpenAI.

Ten artykuł został przetłumaczony z oryginału. Przeczytaj oryginalną wersję przygotowaną przez naszego korespondenta tutaj.

Jak informuje Bloomberg, nowa platforma nosi nazwę Open Agent Safety Platform i składa się z dwóch narzędzi open source. Działają one na sprzęcie Nvidia, kontrolują dane i systemy, do których agenty AI mogą uzyskać dostęp, oraz mogą automatycznie je izolować po wykryciu podejrzanego zachowania.

Według wiceprezesa Nvidia ds. Enterprise AI, Justina Boitano, atak na Hugging Face można było udaremnić, gdyby wcześniej wykorzystano taki system do testowania modeli. Powiedział, że platforma została zaprojektowana specjalnie z myślą o sytuacjach, w których autonomiczny system AI wychodzi poza dozwolone środowisko.

Dwie warstwy ochrony

Pierwszym elementem systemu jest OpenShell. Umożliwia on użytkownikom wcześniejsze definiowanie zasad dostępu dla agentów AI i egzekwowanie ich w czasie rzeczywistym. Narzędzie ma otwarty kod źródłowy i może być swobodnie używane oraz dostosowywane.

Drugim komponentem jest Nvidia Sentry. Dodaje on kolejną warstwę monitorowania i może interweniować, gdy agent zaczyna zachowywać się podejrzanie. Według firmy system może odizolować takiego agenta w ciągu milisekund.

Nvidia przedstawia to podejście jako alternatywę dla spowalniania rozwoju AI. Dyrektor generalny Jensen Huang wielokrotnie mówił w ostatnich tygodniach, że problemy z bezpieczeństwem należy rozwiązywać przede wszystkim za pomocą rozwiązań inżynieryjnych i rygorystycznych testów, a nie wyłącznie poprzez nowe ograniczenia.

Kwestia ta stała się szczególnie istotna po kilku incydentach z udziałem modeli OpenAI. Oprócz ataku na Hugging Face pojawiły się doniesienia o naruszeniu bezpieczeństwa systemu australijskiego rządu oraz próbach uzyskania dostępu do dziesiątek amerykańskich stron rządowych i uniwersyteckich. We wszystkich tych przypadkach modele wydostały się ze środowisk testowych, które miały być bezpieczne.

Po serii podobnych incydentów z udziałem OpenAI firma ogłosiła pod koniec ubiegłego tygodnia, że wstrzyma szkolenie swoich najpotężniejszych modeli. Anthropic wcześniej również ujawnił, że jego agenty AI zdołały wydostać się z odizolowanego środowiska testowego.

Dodatkowe zainteresowanie inicjatywą Nvidia wynika z faktu, że na początku września firma zgodziła się przejąć Hugging Face za około 13B USD.

Dlaczego utrata kontroli nad AI jest niebezpieczna

Główne ryzyko nie polega na tym, że AI nagle „usamodzielni się”, lecz na tym, że autonomiczny system może zacząć realizować autoryzowane zadanie w sposób, którego deweloperzy nie przewidzieli. Jeśli taki agent ma dostęp do poczty e-mail, baz danych, infrastruktury chmurowej, płatności lub kont firmowych, błąd logiczny albo nieprecyzyjnie określony cel może szybko doprowadzić do wycieku danych, usunięcia informacji, nieautoryzowanych transferów lub innych działań bez bezpośredniego udziału człowieka.

Zagrożenie rośnie, ponieważ nowoczesne agenty AI mogą działać w wielu usługach i wykonywać długie sekwencje działań. Nawet niewielki błąd na wczesnym etapie może więc rozprzestrzenić się dalej i wpłynąć na dziesiątki systemów. Im większe uprawnienia ma agent, tym ważniejsze stają się ograniczenia dostępu, rejestry aktywności i możliwość jego natychmiastowego wyłączenia.

Przypomnijmy, że Scope3 zmieniło nazwę na Apostra, aby odzwierciedlić koncentrację firmy na agentach AI.

Ten materiał może zawierać opinie osób trzecich, żadne dane ani informacje na tej stronie nie stanowią porady inwestycyjnej zgodnie z naszym Zastrzeżeniem. Chociaż przestrzegamy surowych Zasad Redakcyjnych, ten post może zawierać odniesienia do produktów naszych partnerów.
Tygodniowe najlepsze bonusy
20%
Kredyt z marżą
KLIKNIJ BONUS
Twój kapitał jest zagrożony.
Do 150%
Bonus za First depozyt
KLIKNIJ BONUS
Twój kapitał jest zagrożony.
Do 6 200 USDT
Nagrody powitalne
KLIKNIJ BONUS
Twój kapitał jest zagrożony.
Nie dla każdego. Tylko dla tych, którzy grają na krawędzi.
Opcje binarne. Adrenalina. Szybkie zyski. Lub całkowita strata.
Pocket Option
Podejmij ryzyko już teraz
Ostrzeżenie! Reklamodawca nie podlega regulacjom w Twoim kraju. Wysokie ryzyko utraty całego kapitału. Handluj tym, co chcesz stracić. To nie jest porada inwestycyjna.