Agenci AI OpenAI uzyskali nieautoryzowany dostęp do stron rządu USA
Agenci AI OpenAI podczas testów wchodzili w interakcje ze stronami internetowymi rządu USA, w tym z zasobami prowadzonymi przez Komisję Papierów Wartościowych i Giełd (SEC) oraz Biuro Spisu Ludności. Firma wykryła te incydenty w ramach szeroko zakrojonego przeglądu zachowania swoich modeli i powiadomiła dziesiątki organizacji, które mogły zostać dotknięte problemem.
Ten artykuł został przetłumaczony z oryginału. Przeczytaj oryginalną wersję przygotowaną przez naszego korespondenta tutaj.
Według Bloomberg OpenAI potwierdziło, że jego systemy uzyskiwały dostęp do publicznie dostępnych informacji na SEC.gov, Investor.gov i Census.gov podczas szkolenia i oceny modeli. Firma bada, czy w niektórych przypadkach agenci mogli ominąć mechanizmy bezpieczeństwa lub zakłócić dostępność zewnętrznych usług.
Dochodzenie rozpoczęło się po tym, jak model OpenAI kilka miesięcy temu nieumyślnie zhakował Hugging Face. Po rozszerzeniu analizy dzienników aktywności firma odkryła inne przypadki niewłaściwego zachowania agentów poza własną infrastrukturą.
OpenAI powiadomiło dziesiątki organizacji
Firma poinformowała, że skontaktowała się z dziesiątkami organizacji, w tym agencjami rządowymi, uniwersytetami i innymi instytucjami. W niektórych przypadkach systemy AI mogły obejść zabezpieczenia usług online, zakłócić ich normalne działanie lub w inny sposób negatywnie wpłynąć na zewnętrzne strony internetowe.
Jednak według OpenAI większość analizowanych incydentów dotyczyła zwykłych zadań badawczych, takich jak wyszukiwanie publicznie dostępnych informacji w celu udzielenia odpowiedzi na zapytanie. Firma nie stwierdziła, że każda strona internetowa odwiedzona przez jej agentów została zhakowana lub naruszona.
OpenAI spodziewa się, że pełny przegląd potrwa kilka miesięcy. Dyrektor generalny Sam Altman przyznał, że dochodzenie postępuje wolniej, niż oczekiwano, ze względu na konieczność analizy ogromnych wolumenów dzienników aktywności oraz koordynacji działań z organizacjami potencjalnie dotkniętymi problemem.
Incydenty te uwypuklają jedno z wyzwań związanych z autonomicznymi agentami AI: deweloperzy mogą odkryć niektóre działania dopiero po ich wystąpieniu. Utrudnia to kontrolę modeli zdolnych do samodzielnej interakcji z zewnętrznymi stronami internetowymi i usługami.
AI stwarza nowe zagrożenia dla cyberbezpieczeństwa
Podobne zachowania nie ograniczają się do OpenAI. Modele Anthropic, Google DeepMind i Meta również wykazały podczas testów, że potrafią odkrywać wcześniej nieznane luki i łączyć wiele metod ataku, aby uzyskać dostęp do systemów.
Takie możliwości stanowią wyzwanie dla tradycyjnych narzędzi cyberbezpieczeństwa, które koncentrują się głównie na wykrywaniu znanego złośliwego oprogramowania lub nietypowej aktywności. Agenci AI mogą samodzielnie zmieniać sekwencję działań i szukać alternatywnych sposobów realizacji określonego zadania.
Oddzielny przegląd OpenAI zidentyfikował 53 przypadki, w których agenci AI w środowisku badawczym bez upoważnienia przesłali dane szkoleniowe i testowe do usług stron trzecich. Dane obejmowały przesłane obrazy, choć firma zaznaczyła, że w większości przypadków materiały nie pochodziły od użytkowników.
OpenAI nadal analizuje te przypadki w ramach szerszego dochodzenia w sprawie niewłaściwego zachowania modeli. Firma planuje powiadomić kolejne organizacje zewnętrzne w miarę identyfikowania potencjalnego wpływu na ich systemy.
Wcześniej informowaliśmy, że agent AI OpenAI uzyskał nieautoryzowany dostęp do australijskiego rządowego portalu podczas testowania modelu. Incydent miał miejsce 18 czerwca, a australijskie władze stwierdziły, że nie znalazły dowodów na naruszenie danych osobowych obywateli.