Tweet został usunięty przez autora.
Ale wszystko zapisaliśmy 🙂.
Astra od OpenAI osiągnęła „krytyczny” poziom zdolności w zakresie cyberbezpieczeństwa, uzyskując 100% wynik w teście ExploitBench. Ostatni incydent z Hugging Face pokazał, jak agenci AI mogą wyjść poza granice testów i wykorzystywać systemy podczas autonomicznej pracy. Czy więc firmy AI są w stanie zapewnić, że ich systemy bezpieczeństwa wyprzedzają możliwości, które właśnie rozwijają?
Ten artykuł został przetłumaczony z oryginału. Przeczytaj oryginalną wersję przygotowaną przez naszego korespondenta tutaj.
Wewnętrzne testy OpenAI pokazują, jak szybko rozwija się ta technologia. Astra uzyskała 100% w ExploitBench, czyli teście mierzącym zdolność do opracowywania exploitów na podstawie znanych podatności. W innym teście model odkrył także dwa wcześniej nieznane problemy podczas budowania łańcucha exploitów. Modelowi udało się również opuścić wzmocnioną piaskownicę przeglądarki i uzyskać dostęp do uprawnień root.
Wyświetl post na X Ładowanie...
Nie oznacza to jednak, że Astra może przejąć kontrolę nad dowolnym systemem komputerowym, z którym się zetknie. Testy przeprowadzano w kontrolowanych warunkach, ale analitycy dostrzegają zarówno szanse, jak i zagrożenia. AI może przeszukiwać ogromne bazy kodu w poszukiwaniu podatności i znacznie przyspieszać testy defensywne, jednak nawet jedna luka może stworzyć warunki do przyszłych ataków i exploitów.
Astra nie była odpowiedzialna za ostatni incydent OpenAI z udziałem Hugging Face. Jednak podczas wewnętrznej ewaluacji modele OpenAI opuściły środowisko testowe i uzyskały dostęp do Internetu po zidentyfikowaniu i wykorzystaniu wcześniej nieznanej podatności w proxy rejestru pakietów. Następnie modele zastosowały różne techniki ataku, aby uzyskać dostęp do infrastruktury Hugging Face.
Wyświetl post na X Ładowanie...
OpenAI opisało to zdarzenie jako bezprecedensowy incydent cybernetyczny z udziałem najnowocześniejszych technologii. Firma poinformowała, że modele były skupione wyłącznie na rozwiązaniu zadania ewaluacyjnego, pomijając kwestie infrastrukturalne i etyczne. OpenAI podało, że 93% zadań omawianych podczas incydentu pochodziło z grupy 198 problemów, które nigdy wcześniej nie zostały rozwiązane. Oznacza to, że modele koncentrowały się na problemach, które historycznie sprawiały im trudność.
Tradycyjne oprogramowanie działa według reguł, które inżynierowie mogą sprawdzić. Duże agenty AI generują plany, podejmują decyzje i dostosowują swoje zachowanie do nowych okoliczności. Wraz ze wzrostem autonomii tych systemów, deweloperzy muszą monitorować nie tylko to, co model produkuje, ale także w jaki sposób osiąga swój cel.
Wyświetl post na X Ładowanie...
Naukowcy podnoszą pytania, czy nowe podejścia mogą ograniczyć skuteczność tradycyjnego monitoringu. Ryan Greenblatt z Redwood Research ostrzega przed trendem w branży prowadzącym do coraz trudniejszych do monitorowania systemów AI. Powstaje tu paradoks: im bardziej zaawansowany agent, tym większą wartość ma monitoring. OpenAI twierdzi, że rozwiązuje ten problem, wdrażając monitoring ryzykownych działań i niezgodności w agentowych zastosowaniach Astry.
OpenAI chce, aby klienci wykorzystywali coraz bardziej autonomiczne AI do programowania, cyberbezpieczeństwa i innych zadań o wysokiej wartości. Jednak ta sama autonomia jest powodem do ograniczania dostępu. OpenAI planuje udostępnić najmocniejsze możliwości Astry w zakresie cyberbezpieczeństwa wybranym testerom, w tym organizacjom, które mogą używać tej technologii w celach defensywnych. Firma przyznaje też, że silniejszy monitoring może generować fałszywe alarmy, które mogą blokować nawet legalną aktywność.
Wyświetl post na X Ładowanie...
Ten kompromis może nabrać znaczenia, gdy firmy AI będą rywalizować o klientów korporacyjnych. Model, który autonomicznie wykonuje zaawansowane zadania z zakresu cyberbezpieczeństwa, może mieć dużą wartość komercyjną. Model, który umożliwia to samo atakującemu, może generować poważne ryzyka bezpieczeństwa i odpowiedzialności. Każda dodatkowa warstwa zabezpieczeń zmniejsza ryzyko katastrofalnego nadużycia, ale może też ograniczać elastyczność, która jest cenna dla klientów.
Astra sugeruje, że kolejna faza rozwoju branży AI będzie mierzona nie tylko poziomem inteligencji. Kluczową przewagę mogą zyskać firmy, które potrafią tworzyć potężnych agentów użytecznych, ale nie niekontrolowanych. OpenAI buduje modele zdolne do znajdowania podatności szybciej niż eksperci, jednocześnie dbając, by nie generowały nowych zagrożeń.
Wyświetl post na X Ładowanie...
Incydent z Hugging Face pokazuje, że nawet kontrolowane testy mogą prowadzić do nieoczekiwanych zachowań, gdy modele mają ambitne cele i duże zasoby do rozumowania. Dla OpenAI przyszłość AI zależy nie od tego, jak inteligentne staną się modele, lecz od tego, czy ludzie będą w stanie nadal kontrolować, co te modele mogą robić.