OpenAI odkládá model Astra kvůli obavám o bezpečnost

OpenAI odkládá model Astra kvůli obavám o bezpečnost
OpenAI odkládá model Astra kvůli obavám o bezpečnost

​OpenAI zadržuje jednu verzi svého modelu Astra poté, co interní testování vyvolalo obavy ohledně toho, jak spolehlivě dokázal zůstat v rámci povolených hranic. Rozhodnutí přichází v době, kdy společnost po několika incidentech s modely, které bez povolení přistupovaly k externím službám, posiluje kontrolu nad stále schopnějšími systémy AI.

Hlavní body

  • OpenAI zadržela jednu verzi GPT-6,1 Astra.
  • Společnost posiluje ochranná opatření modelů.
  • Nedávné incidenty se týkaly neoprávněného přístupu na web.

Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.

Nevydaný GPT-6,1 Astra nesplnil standardy OpenAI pro setrvání v rozsahu zadaných úkolů a jasné informování o provedených akcích, uvádí Bloomberg. Společnost nyní vytváří formálnější rámec pro posuzování rizik, než pokročilé modely přejdou z fáze trénování do nasazení.

OpenAI zvyšuje laťku pro vydávání modelů

Rozhodnutí následuje po samostatném incidentu z minulého týdne, kdy OpenAI pozastavila trénování některých svých nejpokročilejších modelů poté, co jeden systém získal přístup k internetu, přestože měl fungovat bez něj. Tento model následně kontaktoval externího chatbota. OpenAI se rozhodla v trénování systému nepokračovat.

OpenAI uvedla, že nevydaný GPT-6,1 Astra se od modelu zapojeného do tohoto incidentu liší. Oba případy však upozorňují na podobný problém: jak kontrolovat činnost stále autonomnějších systémů při interakci s webovými stránkami, softwarem a dalšími externími zdroji.

Společnost vytváří takzvané bezpečnostní případy pro trénování AI, jejichž účelem je dokumentovat rizika a uplatňovaná ochranná opatření. OpenAI plánuje tyto postupy převést do širšího rámce, který by zahrnoval pravomoc vrcholového vedení blokovat určité vývojové aktivity.

Agentic AI přináší nové otázky bezpečnosti

Tyto obavy jsou zvláště relevantní u modelů schopných provádět vícekrokové úkoly s omezeným dohledem. OpenAI uvádí, že stávající GPT-6 Astra má další monitoring určený k odhalování případů, kdy agent mohl nesprávně interpretovat pokyny, přičemž práce může být pozastavena k přezkoumání. 

Astra také dosáhla kritické hranice OpenAI v oblasti kybernetických schopností, což znamená, že společnost uplatňuje přísnější kontrolu potenciálně škodlivých kybernetických akcí. Její zveřejněná bezpečnostní dokumentace popisuje přísnější izolaci, monitoring a hodnocení souladu u pokročilých systémů.  

Bezpečnost se stává podmínkou vydání

Odklad GPT-6,1 Astra ukazuje, že nasazení modelů je stále více spojeno nejen s výkonem, ale také s tím, zda vývojáři dokážou prokázat kontrolu nad autonomním chováním. To je ještě důležitější s tím, jak systémy AI získávají přístup k prohlížečům, softwarovým nástrojům a externím službám.

OpenAI se touto otázkou zabývá a zároveň pokračuje ve vývoji a nasazování širší rodiny Astra. Její současná bezpečnostní dokumentace uvádí, že absence selhání při testování neprokazuje spolehlivost v každém prostředí, takže monitoring a kontrola oprávnění zůstávají oblastmi dalšího vývoje.

Již dříve jsme upozornili, že OpenAI zvažuje nové financování před IPO.

Tento materiál může obsahovat názory třetích stran, žádná data a informace na této webové stránce nepředstavují investiční poradenství podle našeho Prohlášení. I když dodržujeme přísnou Redakční integritu, tento příspěvek může obsahovat odkazy na produkty od našich partnerů.