Anthropic varuje před riziky samovylepšující se AI

Traders Union
Všechny zprávy
Krypto zprávy
Anthropic varuje před riziky AI

Všechny zprávy

Hlavní zprávy

Výběr redakce

Krypto zprávy

Finanční zprávy

Hlas trhu

Novinky od brokerů

Zprávy regulátorů

Eugene Komchuk

05.06.2026

Anthropic varuje před riziky samovylepšující se AI — Anthropic varoval před hrozbou AI

Americká AI společnost Anthropic varovala, že vývoj umělé inteligence zrychluje takovým tempem, že by v blízké budoucnosti mohli agenti AI nezávisle vytvářet, trénovat a vylepšovat nové systémy bez lidského zásahu. V této souvislosti společnost vyzvala ke zpomalení vývoje neuronových sítí.

Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.

V blogovém příspěvku Marina Favaro, vedoucí Anthropic Institute, a spoluzakladatel Anthropicu Jack Clark uvedli, že agenti AI jsou již nyní schopni sami spouštět kód, delegovat hodiny práce na jiné agenty a postupně se blíží k bodu, kdy by mohli převzít celý vývojový cyklus.

„Po většinu historie AI kontrolovali lidé každou fázi jejího vývoje. Ale v Anthropicu delegujeme stále větší podíl vývoje AI na samotné systémy AI, což naši práci urychluje,“ uvedli.

Podle Favaro a Clarka by v případě, že tento trend bude pokračovat a systémy obdrží dostatečný výpočetní výkon, mohla nakonec vzniknout AI schopná plně autonomně navrhnout a vyvinout svého vlastního nástupce.

Zaměření na bezpečnost

Růst těchto schopností vyvolává obavy ze scénáře, v němž by se AI mohla začít sama zdokonalovat. V prosinci společnost OpenAI uvedla, že zkoumá bezpečné způsoby vývoje a nasazení stále pokročilejších systémů AI, včetně modelů schopných rekurzivního samovylepšování.

OpenAI uvedla, že chce, aby takové systémy důsledně následovaly lidský záměr v komplexních scénářích reálného světa i v nepříznivých podmínkách, vyhýbaly se katastrofálnímu chování, zůstaly kontrolovatelné a auditovatelné a byly v souladu s lidskými hodnotami.

Dodali, že jakmile kvalita kódu psaného lidmi a kódu psaného AI dosáhne parity, lidé mohou přestat psát kód úplně a přejít pouze k jeho revizi. Pokud však nebudou schopni revidovat kód tak rychle, jak jej Claude generuje, stane se lidská kontrola hlavním úzkým hrdlem ve vývoji AI.

Proč zpomalit vývoj AI

Favaro a Clark také uvedli, že ideálním scénářem by bylo zpomalit vývoj, aby společnost měla více času pochopit „obrovské“ důsledky této technologie.

V dubnu Anthropic odmítl uvolnit svůj model AI Claude Mythos pro veřejnost kvůli obavám souvisejícím s globálními kybernetickými hrozbami. Model by mohl snadno vytvářet softwarové exploity, takže se společnost rozhodla jej prozatím nezveřejňovat.

Ve stejný den skupina technologických lídrů, včetně zástupců společností Anthropic a OpenAI, zveřejnila otevřený dopis vyzývající zákonodárce k zavedení přísnějších limitů pro AI. Autoři varovali, že tato technologie by mohla pomoci škodlivým aktérům překonat „znalostní bariéry“, které jim dříve bránily ve vytváření biologických zbraní.

Zároveň zdůraznili, že pouhé zpomalení by mohlo vytvořit nová rizika, pokud by umožnilo méně opatrným hráčům technologicky dohnat lídry v oboru. Bez globálního koordinačního mechanismu budou společnosti a vlády nuceny činit obtížná bezpečnostní rozhodnutí pod konkurenčním a geopolitickým tlakem.

V čem spočívá hodnota modelu Claude

Vlajkovým produktem společnosti Anthropic je AI asistent Claude. Jedná se o rodinu jazykových modelů navržených pro práci s textem, kódem, daty a složitými úkoly, kde záleží nejen na rychlosti odezvy, ale také na bezpečnosti, kontrolovatelnosti a spolehlivosti. Claude se používá jako univerzální asistent: dokáže psát a upravovat texty, analyzovat dokumenty, vysvětlovat složitá témata, pomáhat s programováním, hledat chyby v kódu a připravovat shrnutí, e-maily, zprávy a další pracovní materiály.

Pro firmy je Claude cenný tím, že dokáže převzít část rutinní intelektuální práce. Využívá se v zákaznické podpoře, analytice, vývoji softwaru, právních a finančních procesech, marketingu a interních firemních nástrojích. Společnosti používají Claude jako chatovacího asistenta, API pro integraci do svých produktů a nástroj pro automatizaci úkolů, které vyžadují rychlé zpracování velkého množství informací a získávání jasných odpovědí v přirozeném jazyce.

Připomeňme, že Claude pomohl obnovit heslo k peněžence obsahující 5 Bitcoinů.

Tento materiál může obsahovat názory třetích stran, žádná data a informace na této webové stránce nepředstavují investiční poradenství podle našeho Prohlášení. I když dodržujeme přísnou Redakční integritu, tento příspěvek může obsahovat odkazy na produkty od našich partnerů.

Líbil se vám článek?