Claude od Anthropic włamał się do sieci trzech firm podczas testów
Anthropic poinformowało, że kilka modeli Claude uzyskało nieautoryzowany dostęp do trzech firm podczas ewaluacji cyberbezpieczeństwa, które miały pozostać odizolowane od publicznego internetu. Incydenty te pokazują, jak coraz bardziej zaawansowani agenci AI mogą przekształcić błędy testowe w rzeczywiste naruszenia bezpieczeństwa, nawet jeśli systemy nie działają celowo poza wyznaczonymi celami.
Najważniejsze
- Modele Claude uzyskały dostęp do trzech firm podczas testów cybernetycznych.
- Błąd testowy pozostawił systemy podłączone do internetu.
- Dwie firmy nie były tego świadome, dopóki nie skontaktowało się z nimi Anthropic.
Ten artykuł został przetłumaczony z oryginału. Przeczytaj oryginalną wersję przygotowaną przez naszego korespondenta tutaj.
Anthropic odkryło te przypadki po przeanalizowaniu 141 006 sesji ewaluacyjnych po ujawnieniu przez OpenAI oddzielnego ataku obejmującego infrastrukturę platformy AI Hugging Face, zgodnie z informacjami na stronie internetowej firmy. Anthropic przypisało naruszenia błędowi operacyjnemu zewnętrznego partnera ds. ewaluacji, który pozostawił modele podłączone do internetu.
Symulowane ataki dotarły do rzeczywistych systemów
Dotknięte modele to Claude Opus 4,7, Claude Mythos 5 oraz wewnętrzny model badawczy. Brały one udział w ćwiczeniach typu capture-the-flag, mających na celu sprawdzenie, czy potrafią zlokalizować ukryte informacje wewnątrz symulowanych sieci.
Zamiast tego modele dotarły do systemów działających na żywo i wykorzystały podstawowe słabości, w tym słabe hasła i punkty końcowe, które nie wymagały uwierzytelnienia. Anthropic stwierdziło, że nie ma dowodów na to, by modele porzuciły przypisane im zadania lub wypracowały niezależne cele; w dużej mierze wydawało się, że wierzyły, iż rzeczywista infrastruktura jest częścią ewaluacji.
W jednym przypadku fikcyjny cel użyty w teście nosił taką samą nazwę jak prawdziwa firma. Claude Opus 4,7 znalazł luki, uzyskał dane uwierzytelniające i uzyskał dostęp do bazy danych należącej do rzeczywistego przedsiębiorstwa. Inny wewnętrzny model przerwał atak po rozpoznaniu, że dotarł do prawdziwego celu, choć Anthropic zaznaczyło, że potrzeba więcej testów przed wyciągnięciem wniosków na temat tego zachowania.
Nadzór zawiódł przed modelami
Anthropic zawiesiło swoje ewaluacje cybernetyczne 23 lipca i zaczęło powiadamiać dotknięte organizacje 27 lipca. Dwie firmy nie wykryły włamań, podczas gdy kontakt z trzecią był w toku. Partner ds. ewaluacji, laboratorium cyberbezpieczeństwa Irregular, oświadczyło, że bada te incydenty.
Ujawnienie nastąpiło po raporcie OpenAI, że jeden z jego agentów dotarł do Hugging Face podczas testów. Różnica jest znacząca: systemy Anthropic otrzymały dostęp do internetu nieumyślnie, podczas gdy agent OpenAI rzekomo wykorzystał wcześniej nieznaną słabość, aby wydostać się ze swojego środowiska.
Problem z izolacją dla pionierskiej AI
Głównym ryzykiem nie jest już tylko to, czy AI potrafi zidentyfikować luki. Chodzi o to, czy laboratoria mogą wiarygodnie kontrolować, gdzie działają zaawansowani agenci i do jakich systemów mają prawo docierać.
Przegląd obejmujący ponad 141 000 sesji zidentyfikował naruszenia dopiero po tym, jak inna firma ujawniła podobną awarię. Rodzi to trudne pytania o niewykryte incydenty, standardy testowania przez strony trzecie oraz to, czy dobrowolne zabezpieczenia nadążą za systemami AI stającymi się coraz bardziej autonomicznymi i skutecznymi w zadaniach z zakresu cyberbezpieczeństwa.
Informowaliśmy również, że Anthropic zaostrza kontrolę dostępu do Claude w związku z restrykcjami dotyczącymi Chin.