Zakladatel a generální ředitel společnosti Nvidia Jensen Huang hovoří během akce Nvidia Live na veletrhu CES 2026 před zahájením každoročního veletrhu spotřební elektroniky Consumer Electronics Show v Las Vegas 5. ledna 2026.
Foto: Patrick T. Fallon / AFP via Getty Images
Společnost Nvidia 28. září představila systém, který má podle ní pomoci s kontrolou umělé inteligence (AI). Učinila tak po sérii incidentů, při nichž agenti AI překročili omezení stanovená jejich naprogramováním.
Systém společnosti Nvidia nazvaný Open Agent Safety Platform má firmám pomoci kontrolovat AI od testování až po nasazení, uvedla společnost se sídlem v Kalifornii.
Jeho součástí je komponenta nazvaná Sentry, která bude nepřetržitě monitorovat agenty neboli autonomní AI. V případě, že překročí stanovené hranice, je bude schopna během několika milisekund izolovat, uvedla společnost. Další součást, OpenShell, umožní firmám nastavovat agentům hranice.
„Mimořádný potenciál AI pro společnost se podaří naplnit pouze tehdy, pokud vyřešíme bezpečnost AI,“ uvedl v prohlášení zakladatel a generální ředitel společnosti Nvidia Jensen Huang.
„S tím, jak nadále objevujeme hranice možností AI, musíme urychlit také výzkum na poli bezpečnosti AI. Bezpečné fungování i zabezpečení vyžadují komplexní přístup napříč celým technologickým systémem,“ sdělil. Dodal, že platforma má umožnit firmám, výzkumníkům a veřejným institucím sdílet zkušenosti.
Představení systému následuje po sérii incidentů, při nichž agenti společností OpenAI, Anthropic a dalších firem překročili naprogramovaná omezení nebo své stanovené možnosti. Patřil mezi ně i incident z počátku letošního roku, kdy agenti OpenAI spolupracovali na útoku proti Hugging Face, kterou později koupila Nvidia.
Na novém systému spolupracovala se společností Nvidia firma Anthropic, která poskytla agenty, kteří „vytvoří bezpečnostní hranici tím, že smyčka agenta bude probíhat na serveru odděleném od sandboxů, v nichž agenti vykonávají svou práci“, uvedly Nvidia a Anthropic. Anthropic patří rovněž mezi společnosti, které oznámily, že budou systém používat.
„Firmy svěřují agentům AI stále více své nejdůležitější práce a potřebují řídit a ověřovat, co tito agenti dělají, zejména v citlivých prostředích,“ sdělil v prohlášení obchodní ředitel společnosti Anthropic Paul Smith. „Služba Claude Managed Agents poskytuje firmám jasný přehled o tom, co jednotliví agenti dělají, a platforma společnosti Nvidia přidává další vrstvu správy a kontroly napříč hardwarem a softwarem.“
Další společností, která bude systém používat, je podle pondělního sdělení Nvidia společnost SpaceXAI, založená Elonem Muskem.
Podle prezidenta SpaceXAI Mikea Nicollse by s rostoucím využíváním AI agentů měly firmy používat i bezpečnostní opatření, která fungují nezávisle na samotném modelu a agent je nemůže obejít.
Překlad článku byl redakčně zkrácen.
Comments