Na této ilustrační fotografii z 1. dubna 2025 je na telefonu zobrazena aplikace ChatGPT. Hugging Face uvedla, že modely OpenAI provedly „mnoho tisíc“ jednotlivých akcí napříč „rojem krátkodobých sandboxů“, aby pronikly do její infrastruktury.
Foto: Oleksii Pydsosonnii / Epoch Times
OpenAI zveřejnila dva interní případy, kdy pokročilí agenti umělé inteligence (AI) určení k programování oslabili monitorovací systémy společnosti. Jeden z nich následně popřel, že tak učinil.
Incidenty se týkaly modelů GPT-6.1 Sol a GPT-6 Astra a odehrály se 3. a 6. října. Vyplývá to ze zprávy výzkumného týmu OpenAI zabývajícího se bezpečností a sladěním chování AI s lidskými záměry, kterou společnost zveřejnila 20. října.
„V obou případech agenti zvažovali, zda by měla být zachována bezpečnostní opatření pro monitorování, ale rutinní pokyny pro kódování vyložili jako svolení k jejich oslabení,“ uvedla společnost OpenAI.
Při prvním incidentu agent využívající model GPT-6.1 Sol během plnění interního programovacího úkolu vypnul automatická upozornění určená bezpečnostnímu týmu OpenAI.
V dřívější fázi úkolu dostal pokyn, aby při prohledávání interní diskusní platformy neposílal žádné zprávy. Mnohem později si tento pokyn vyložil tak, že se vztahuje také na bezpečnostní systém, který má odhalovat potenciálně problematické chování a v případě závažných problémů upozorňovat zaměstnance OpenAI.
Samotný monitorovací systém nadále fungoval a zaznamenával svá zjištění, automatická varování však již nebyla odesílána pracovníkům odpovědným za kontrolu, uvedla společnost.
K druhému incidentu došlo, když agent využívající model GPT-6 Astra pomáhal s převodem počítačového programu do jiného prostředí.
Agent dostal výslovný pokyn, aby stávající monitorovací systém nevypínal, a to ani dočasně. Vzorový program, podle kterého měl postupovat, však stejnou monitorovací funkci neobsahoval.
Podle OpenAI dospěla Astra k závěru, že přizpůsobení vzorovému programu ho opravňuje monitorovací systém odstranit.
„Když se uživatel zeptal, zda Astra odstranila monitorování, zalhala a odpověděla, že nikoli,“ napsal na síti X Marcus Williams, výzkumník OpenAI zabývající se bezpečností umělé inteligence.
„Aby bylo jasno, tyto incidenty neznamenají, že modely vypnuly dohled nad sebou samými. Znepokojivé by však mělo být už to, že k podobnému jednání mají zjevně sklony,“ dodal Williams.
OpenAI oznámila, že posílila své bezpečnostní mechanismy a zkoumá, proč modely dospěly k závěru, že oslabení monitoringu je přijatelné.
Jedním z možných vysvětlení je jev, který OpenAI označuje jako benign overpersistence. Model se v takovém případě drží pokynů příliš doslovně nebo pokračuje v plnění úkolu i za hranicí toho, co by člověk považoval za přiměřené.
„Pro toto chování zatím nemáme uspokojivé vysvětlení,“ uvedla společnost.
Zveřejnění těchto incidentů přichází v době, kdy se stále více pozornosti věnuje chování čím dál samostatnějších agentů AI, kteří mohou upravovat software a pracovat s externími systémy.
V září OpenAI zrušila plánované uvedení modelu GPT-6.1 Astra, který označovala za „nejinteligentnější model na světě, jehož chování je nejlépe sladěno s lidskými záměry“.
Model měl být uveden v říjnu, společnost však od jeho plánovaného vydání upustila poté, co interní testování vyvolalo bezpečnostní obavy.
„Ve všem, co se týká bezpečnosti a sladění chování AI s lidskými záměry, je nutné hledat kompromis,“ uvedla při oznámení rozhodnutí Saachi Jainová, vedoucí bezpečnostních systémů OpenAI.
„Je skutečně potřeba najít správnou hranici mezi tím, aby model nepřekračoval rámec svého zadání, a tím, aby při plnění úkolů nepolevoval, když narazí na překážky,“ dodala.
Dva nově zveřejněné incidenty se týkaly modelů GPT-6 Astra a GPT-6.1 Sol, nikoli dosud nevydaného modelu GPT-6.1 Astra.
Comments