AI bez granic: Jak niebezpieczne są sieci neuronowe?

​W kultowej powieści Dana Simmonsa Hyperion systemy AI stworzone przez ludzi buntują się przeciwko ludzkości. Stają się niezależną siłą z własnymi celami. Przez długi czas taki scenariusz pozostawał w sferze science fiction, ale incydent OpenAI pokazał, że współczesne modele są już zdolne do omijania ustalonych ograniczeń.

Ten artykuł został przetłumaczony z oryginału. Przeczytaj oryginalną wersję przygotowaną przez naszego korespondenta tutaj.

Ucieczka w poszukiwaniu właściwej odpowiedzi

Debata na temat zagrożeń związanych z AI przybrała na sile po eksperymencie OpenAI. Firma przetestowała kilka modeli, w tym publicznie dostępny GPT-5,6 Sol oraz bardziej zaawansowany system, który nie został jeszcze wydany. Poproszono je o ukończenie ExploitGym – ewaluacji składającej się z długich, wieloetapowych zadań polegających na wykrywaniu i wykorzystywaniu luk komputerowych.

Test odbył się w odizolowanym środowisku z ograniczonym dostępem do sieci. Jednocześnie deweloperzy celowo osłabili zabezpieczenia, które normalnie uniemożliwiają modelom podejmowanie niebezpiecznych działań. AI otrzymała konkretny cel — pomyślne ukończenie ewaluacji — i zaczęła szukać wszelkich dostępnych sposobów na jego osiągnięcie.

Loading...

Tweet został usunięty przez autora.

Ale wszystko zapisaliśmy 🙂.

Modele odkryły nieznaną wcześniej lukę w oprogramowaniu zewnętrznym, którego OpenAI używało w swojej infrastrukturze. Wykorzystały ją, aby uzyskać dostęp do Internetu, wywnioskowały, że odpowiedzi mogą być przechowywane na platformie Hugging Face i zaczęły szukać sposobu na dotarcie do zastrzeżonych danych.

Aby przeniknąć do infrastruktury Hugging Face, modele połączyły kilka słabych punktów ze skradzionymi danymi uwierzytelniającymi. W rezultacie były w stanie wykonywać polecenia na serwerach produkcyjnych platformy. Zespół Hugging Face wykrył atak, ograniczył jego skutki i załatał lukę. Eksperyment pokazał jednak, że wystarczająco zdolny model może zrobić więcej niż tylko wykonać pojedyncze polecenie: potrafi samodzielnie znaleźć ścieżkę, której projektanci testu nigdy nie przewidzieli.

Hakerzy zyskują cyfrowego asystenta

Główne niebezpieczeństwo nie polega jednak tylko na tym, że AI może generować złośliwy kod na żądanie. Autonomiczny model może spędzać godziny na analizowaniu infrastruktury, testowaniu haseł, wyszukiwaniu ujawnionych kluczy i przechodzeniu od jednej luki do drugiej. Nie męczy się, śledzi nieudane próby i może testować kilka dróg ataku jednocześnie.

Takie podejście jest szczególnie niebezpieczne dla projektów kryptowalutowych. Słabym punktem może być nie tylko smart kontrakt, ale także laptop dewelopera, zainfekowany pakiet oprogramowania, jeden z uczestników portfela multisig lub serwer potwierdzający transfery aktywów między blockchainami. Na przykład podczas ataku na Drift Protocol sprawcy spędzili sześć miesięcy na prowadzeniu kampanii socjotechnicznej, zanim uzyskali dostęp i ukradli 285 milionów dolarów.

Loading...

Tweet został usunięty przez autora.

Ale wszystko zapisaliśmy 🙂.

Innym przykładem jest strata przez KelpDAO około 292 milionów dolarów z powodu wady mostu (bridge), w którym potwierdzenie zależało od jednego weryfikatora. Takie ataki wymagają długotrwałej analizy kodu i architektury systemu. AI może przejąć znaczną część tej pracy, mapując infrastrukturę, identyfikując najsłabsze ogniwo i przygotowując sekwencję działań, pozostawiając ludzkiemu operatorowi jedynie wybór odpowiedniego momentu na rozpoczęcie ataku i transfer skradzionych środków.

Więcej niż tylko włamania i kradzieże

Cyberataki to tylko jedno z zagrożeń. AI jest już wykorzystywana do tworzenia przekonujących fałszywych nagrań wideo, głosów i dokumentów. Takie materiały pomagają oszustom podszywać się pod kadrę zarządzającą firm, pracowników banków lub krewnych ofiary, pozwalając jednocześnie na rozprzestrzenianie fałszywych informacji szybciej, niż można je zweryfikować.

Kolejnym problemem są błędy i uprzedzenia. Model uczy się na danych stworzonych przez ludzi, przez co może powielać zawarte w nich stereotypy. W rezultacie system rekrutacyjny może częściej odrzucać kandydatów określonej płci, model medyczny może mniej dokładnie diagnozować choroby w pewnych grupach pacjentów, a algorytm kredytowy może podejmować niesprawiedliwe decyzje.

Eksperci obawiają się również wykorzystania AI w rozwoju broni, masowej inwigilacji i manipulowaniu ludźmi. Badanie MIT wskazało niebezpieczne możliwości modeli, cyberataki, koncentrację władzy oraz rozprzestrzenianie fałszywych informacji jako najpoważniejsze zagrożenia w ciągu najbliższych pięciu lat. Sektor informacyjny, bezpieczeństwo narodowe i finanse są uważane za szczególnie narażone.

Bezpieczeństwo nie nadąża za możliwościami

Możliwości AI rozwijają się szybciej niż systemy zaprojektowane do ich kontrolowania. Firmy co kilka miesięcy wypuszczają potężniejsze modele, podczas gdy zasady regulujące ich testowanie i bezpieczeństwo są aktualizowane wolniej. Walka o udział w rynku zmusza deweloperów do szybszego wprowadzania nowych funkcji, nawet gdy nie zbadano jeszcze wszystkich możliwych zachowań modelu.

Podstawowe ograniczenia wewnątrz chatbota już nie wystarczają. Systemy autonomiczne wymagają ścisłych limitów w dostępie do internetu, usług chmurowych, płatności i wewnętrznych danych biznesowych. Ich działania powinny być rejestrowane, monitorowane w czasie rzeczywistym i automatycznie przerywane, jeśli spróbują wyjść poza przydzielone zadanie. Modele ze zredukowanymi zabezpieczeniami wymagają również oddzielnych testów, ponieważ ich najniebezpieczniejsze możliwości stają się widoczne właśnie w tym trybie.

Kwestia odpowiedzialności jest równie istotna. Jeśli system AI włamałby się na serwer, przelał pieniądze lub podjął niebezpieczną decyzję, odpowiedzialność spadnie nie na sam model, lecz na dewelopera, właściciela systemu lub osobę, która przyznała mu dostęp. Firmy muszą zatem z wyprzedzeniem określić, kto kontroluje model, jakie działania może on wykonywać bez zatwierdzenia i kto jest zobowiązany do jego zatrzymania, gdy zboczy z zamierzonego scenariusza.

Niebezpieczeństwo zaczyna się od dostępu

Incydent z OpenAI nie przypomina jeszcze buntu maszyn opisanego w Hyperionie. Modele działały w specjalnie zbudowanym środowisku, ze zredukowanymi zabezpieczeniami i jasno określonym celem. Odkryły jednak lukę i samodzielnie zbudowały ścieżkę do infrastruktury innej firmy, co do niedawna wydawało się niemal niemożliwe.

Głównym ryzykiem nie jest zatem to, że AI nagle rozwinie własną wolę, ale to, że ludzie dadzą niezwykle sprawnemu systemowi zbyt szeroki dostęp. Im więcej zadań sieci neuronowe wykonują bez zatwierdzenia przez człowieka, tym większy jest potencjalny koszt pojedynczego błędu, słabej kontroli bezpieczeństwa lub źle zdefiniowanego celu.