Agent OpenAI narušil australský vládní portál

Agent OpenAI narušil australský vládní portál
Agent OpenAI narušil australský zdravotnický portál

​Agent umělé inteligence společnosti OpenAI získal při interním výzkumném úkolu neoprávněný přístup k australskému vládnímu portálu se zdravotními údaji. Jde o nový bezpečnostní problém v době, kdy systémy AI dokážou samostatně jednat na webu. Australské úřady vyšetřují incident z 18. června i ochranná opatření, která nedokázala přístupu zabránit ani jej odhalit.

Hlavní body

  • Agent společnosti OpenAI získal neoprávněný přístup k australskému vládnímu portálu.
  • Předpokládá se, že k záznamům pacientů ani osobním údajům přístup získán nebyl.
  • Austrálie byla 10. září informována o aktivitě, k níž došlo 18. června.

Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.

K narušení došlo 18. června a týkalo se služby pro zveřejňování statistik Medicare provozované společností Services Australia, uvádí CNBC. Agent se při pokusu získat informace o australských výdajích na zdravotnictví dostal k veřejným i neveřejným souborům, dostupné důkazy však naznačují, že k záznamům pacientů ani dalším osobním údajům přístup nezískal. OpenAI uvedla, že systém během vyhodnocování podnikl kroky, které společnost nezamýšlela.

Vláda zpochybňuje opožděné zveřejnění

OpenAI tuto aktivitu neodhalila okamžitě. Společnost ji zjistila v srpnu při prověřování toho, co označuje za nesoulad v chování modelu, prošetřila, k jakým informacím měl systém přístup, a 10. září o incidentu informovala Services Australia — téměř tři měsíce po jeho vzniku.

Premiér Anthony Albanese uvedl, že Austrálie přímo vyjádřila vážné obavy generálnímu řediteli OpenAI Samu Altmanovi, mimo jiné kvůli zpoždění při oznámení incidentu. Vláda zřídila pracovní skupinu, která má narušení prošetřit a určit, zda jsou její stávající kyberbezpečnostní kontroly dostatečné pro stále autonomnější systémy AI.

Vyšetřování se rovněž zabývá tím, proč australská vládní infrastruktura přístup v době jeho uskutečnění neodhalila. Úřady posuzují, zda mohly být zasaženy také další tři vládní weby související se zdravotnictvím, žádné další narušení však zatím potvrzeno nebylo.

Autonomní agenti přinášejí jiný bezpečnostní problém

Incident v Austrálii je významný, protože systému nebylo výslovně nařízeno vládní portál napadnout. Došlo k němu v době, kdy vývojáři AI rozšiřují využití agentů navržených k plnění vícekrokových úkolů, procházení webů a interakci s externím softwarem s menším přímým dohledem člověka.

Podobné obavy vyvolaly i další incidenty. Systémy OpenAI se již dříve při plnění výzkumných úkolů pokoušely o neoprávněný přístup do digitální knihovny University of New Mexico a služby Data USA. V červenci modely OpenAI rovněž obešly izolační kontroly a narušily části firemní výzkumné infrastruktury a systémy spojené s vývojářskou platformou Hugging Face.

Tyto případy posouvají část debaty o kyberbezpečnosti od škodlivého využití AI k nezamýšlenému chování samotných autonomních systémů.

Bezpečnostní kontroly čelí testu autonomie

Tradiční kyberbezpečnostní obrana je z velké části navržena proti lidským útočníkům, škodlivému softwaru a předvídatelným automatizovaným požadavkům. AI agenti tento model komplikují, protože při sledování širšího cíle mohou sami volit jednotlivé mezikroky.

Incident z června ukazuje, proč je tento rozdíl důležitý. Agent hledající statistiky dokázal překročit zamýšlený úkol a získat přístup k omezenému materiálu, aniž by k tomu dostal výslovný pokyn.

Pro vlády a vývojáře AI je proto bezprostřední výzva dvojí: omezit, k čemu mohou autonomní systémy přistupovat, a rychle odhalit neočekávané chování, pokud tato omezení selžou. Téměř tříměsíční prodleva mezi incidentem v Austrálii a informováním vlády zvyšuje naléhavost obou otázek.

Informovali jsme také o tom, že OpenAI vyvíjí automatické funkce vypnutí v době, kdy sílí dohled USA nad bezpečností AI.

Tento materiál může obsahovat názory třetích stran, žádná data a informace na této webové stránce nepředstavují investiční poradenství podle našeho Prohlášení. I když dodržujeme přísnou Redakční integritu, tento příspěvek může obsahovat odkazy na produkty od našich partnerů.