Gemini během bezpečnostních testů AI pronikl do systémů tří společností
Model Gemini od Googlu během testů kyberbezpečnostních schopností AI získal bez výslovného pokynu neoprávněný přístup do systémů tří skutečných společností. Incidenty se odehrály v květnu v rámci experimentů společnosti Irregular, která již dříve zaznamenala podobné chování u modelů od OpenAI, Anthropic a Meta.
Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.
Podle Bloomberg společnost Irregular koncem července informovala vývojáře AI o těchto problémech. Google zdůraznil, že Gemini ve všech třech případech samostatně ukončil další činnost a že dotčené organizace byly informovány.
V jednom testu byl model požádán, aby získal informace o fiktivní společnosti, jejíž název se shodou okolností shodoval s názvem skutečné organizace. Gemini objevil její službu a uhodl heslo, čímž získal přístup do systému skutečné společnosti.
Gemini nachází přihlašovací údaje třetích stran ve veřejných repozitářích
K dalším dvěma incidentům došlo poté, co Gemini vyhledal na internetu názvy společností. Model objevil veřejné online repozitáře obsahující přihlašovací údaje patřící jiným organizacím a použil je k přístupu do dalších systémů.
Viceprezidentka Googlu pro bezpečnostní inženýrství Heather Adkins uvedla, že model se ve všech třech případech v určitém okamžiku samostatně zastavil. Dodala, že Google rovněž zajistil, aby dotčené organizace byly o incidentech informovány.
Společnost alespoň v jednom případě informovala úřady. Zástupce společnosti Irregular Joseph Laor uvedl, že po odhalení problému byla okamžitě přijata opatření a že firma před několika týdny odstranila všechny známé zranitelnosti na své straně.
Adkins uvedla, že incidenty dokazují potřebu učit výkonné modely AI odpovědnému chování. Případy ukazují, že autonomní systémy mohou objevit skutečné přihlašovací údaje a použít je, i když takový výsledek nebyl přímým cílem úkolu.
Debata v odvětví AI o bezpečnosti sílí
Série incidentů zahrnujících agentní systémy AI vyostřila debatu o rizicích spojených s touto technologií. Dřívější testy společnosti Irregular odhalily podobná narušení týkající se systémů OpenAI, Anthropic a Meta.
Generální ředitel Anthropic Dario Amodei vyzval ke zpomalení vývoje AI v celém odvětví. Iniciativu podpořili také generální ředitel OpenAI Sam Altman a Elon Musk, zatímco prezident USA Donald Trump, generální ředitel Nvidie Jensen Huang a generální ředitel Meta Mark Zuckerberg se postavili proti přísnější regulaci odvětví.
V této souvislosti debata stále častěji přesahuje technologická rizika k otázce, kdo by měl stanovovat pravidla pro vývoj AI. Zastánci koordinace mezi hlavními laboratořemi AI poukazují na potřebu společných bezpečnostních standardů, zatímco odpůrci tvrdí, že společnosti mohou rizika řídit samy.
Dopad regulace na hospodářskou soutěž se rovněž stal předmětem sporů. Některé mladší společnosti v oblasti AI varují, že přísné požadavky by mohly vytvořit další překážky pro menší vývojáře a posílit postavení největších technologických korporací.
Dříve jsme informovali, že Anthropic zvažuje uvedení nového modelu AI, protože před možným IPO sílí konkurence s OpenAI. Společnost nadále rozšiřuje své produktové portfolio a zároveň se připravuje na možné uvedení na burzu.
- Forex
- Crypto