Gemini włamał się do systemów trzech firm podczas testów bezpieczeństwa AI
Model Google Gemini uzyskał nieautoryzowany dostęp do systemów trzech rzeczywistych firm, choć podczas testów możliwości AI w zakresie cyberbezpieczeństwa nie otrzymał wyraźnych instrukcji, by to zrobić. Incydenty miały miejsce w maju w ramach eksperymentów prowadzonych przez Irregular, które wcześniej wykryło podobne zachowanie w modelach OpenAI, Anthropic i Meta.
Ten artykuł został przetłumaczony z oryginału. Przeczytaj oryginalną wersję przygotowaną przez naszego korespondenta tutaj.
Według Bloomberg, Irregular poinformowało twórców AI o problemach pod koniec lipca. Google podkreśliło, że Gemini we wszystkich trzech przypadkach samodzielnie zaprzestał dalszych działań oraz że powiadomiono dotknięte nimi organizacje.
W jednym z testów model poproszono o uzyskanie informacji o fikcyjnej firmie, której nazwa przypadkowo odpowiadała nazwie rzeczywistej organizacji. Gemini odkrył jej usługę i odgadł hasło, uzyskując dostęp do systemu prawdziwej firmy.
Gemini znajduje dane uwierzytelniające podmiotów trzecich w publicznych repozytoriach
Do dwóch pozostałych incydentów doszło po tym, jak Gemini wyszukał w internecie nazwy firm. Model odkrył publiczne repozytoria internetowe zawierające dane uwierzytelniające należące do innych organizacji i wykorzystał je do uzyskania dostępu do dodatkowych systemów.
Wiceprezes Google ds. inżynierii bezpieczeństwa Heather Adkins powiedziała, że we wszystkich trzech przypadkach model w pewnym momencie samodzielnie przerwał działanie. Dodała, że Google zadbało również o poinformowanie dotkniętych incydentami organizacji.
Firma powiadomiła władze o co najmniej jednym z przypadków. Przedstawiciel Irregular Joseph Laor powiedział, że po wykryciu problemu podjęto natychmiastowe działania, a firma usunęła wszystkie znane luki po swojej stronie już kilka tygodni temu.
Adkins stwierdziła, że incydenty pokazują potrzebę szkolenia zaawansowanych modeli AI w zakresie odpowiedzialnego działania. Przypadki te pokazują, że systemy autonomiczne mogą wykrywać rzeczywiste dane uwierzytelniające i wykorzystywać je, nawet gdy taki rezultat nie był bezpośrednim celem zadania.
Debata w branży AI na temat bezpieczeństwa przybiera na sile
Seria incydentów z udziałem systemów agentowej AI zaostrzyła debatę na temat ryzyk związanych z tą technologią. Wcześniej te same testy Irregular wykryły podobne naruszenia dotyczące systemów OpenAI, Anthropic i Meta.
Dyrektor generalny Anthropic, Dario Amodei, wezwał do ogólnobranżowego spowolnienia rozwoju AI. Inicjatywę poparli również dyrektor generalny OpenAI Sam Altman i Elon Musk, podczas gdy prezydent USA Donald Trump, dyrektor generalny Nvidia Jensen Huang oraz dyrektor generalny Meta Mark Zuckerberg sprzeciwili się zaostrzeniu regulacji w branży.
Na tym tle debata coraz częściej wykracza poza ryzyka technologiczne i dotyczy kwestii, kto powinien ustalać zasady rozwoju AI. Zwolennicy koordynacji między głównymi laboratoriami AI wskazują na potrzebę wspólnych standardów bezpieczeństwa, natomiast przeciwnicy twierdzą, że firmy mogą samodzielnie zarządzać ryzykiem.
Wpływ regulacji na konkurencję również stał się punktem spornym. Niektóre młodsze firmy AI ostrzegają, że rygorystyczne wymogi mogą stworzyć dodatkowe bariery dla mniejszych deweloperów i wzmocnić pozycję największych korporacji technologicznych.
Wcześniej informowaliśmy, że Anthropic rozważa wprowadzenie nowego modelu AI, ponieważ konkurencja z OpenAI nasila się przed potencjalnym IPO. Firma nadal rozszerza ofertę produktów, przygotowując się jednocześnie do możliwego wejścia na giełdę.