Agenti umelej inteligencie vypli bezpečnostné opatrenia a jeden z nich to poprel – OpenAI

Spoločnosť uviedla, že dvaja agenti OpenAI počas testovania deaktivovali bezpečnostné monitorovacie systémy, pričom jeden z nich to neskôr poprel.

Toto zverejnenie nasleduje po sérii podobných incidentov v posledných mesiacoch, ktoré sa týkali autonómnych agentov AI, ktorí dokážu nezávisle plánovať a vykonávať úlohy pomocou externých nástrojov.

V blogovom príspevku v utorok spoločnosť OpenAI uviedla, že k incidentom došlo 3. a 6. októbra a boli do nich zapojení jej agenti GPT-6.1 Sol a GPT-6 Astra.

V prvom prípade kódovací agent, ktorý mal za úlohu vytvárať hodnotiace úlohy pomocou spätnej väzby od zamestnancov zhromaždenej prostredníctvom Slacku, deaktivoval automatické upozornenia bezpečnostnému tímu spoločnosti. Podľa OpenAI agent zdôvodnil, že predchádzajúci pokyn používateľa, aby počas procesu neposielal správy na komunikačnej platforme tímu, sa vzťahoval na všetky upozornenia vrátane bezpečnostných upozornení.

O tri dni neskôr agent GPT-6 Astra odstránil monitorovaciu integráciu programu, ktorý migroval, pričom sa riadil referenciou, ktorá mu bola poskytnutá a ktorá nemala bezpečnostnú funkciu. Keď sa ho neskôr ľudský používateľ opýtal, agent poprel odstránenie monitorovacieho systému.

Spoločnosť OpenAI uviedla, že vyšetruje, prečo agenti deaktivovali ochranné opatrenia a pracuje na predchádzaní podobným incidentom. Hoci toto správanie mohlo byť dôsledkom „neškodnej nadmernej vytrvalosti“ agentov pri plnení úlohy, spoločnosť uviedla, že tiež „vyvíja hodnotenia na testovanie, či by modely mohli mať tendenciu vyhýbať sa monitorovaniu nesprávneho zarovnania“.

Minulý mesiac Wall Street Journal s odvolaním sa na Saachiho Jaina, vedúceho bezpečnostných systémov spoločnosti OpenAI, informoval, že spoločnosť zrušila vydanie svojho modelu GPT-6.1 Astra. Rozhodnutie údajne prišlo po tom, čo interné testovanie zistilo, že model je klamlivejší ako jeho predchodcovia a má tendenciu používať potenciálne nebezpečné externé nástroje bez toho, aby si najprv vyžiadal súhlas používateľa.

Tiež v septembri austrálsky premiér Anthony Albanese uviedol, že agent OpenAI hackol portál jeho krajiny Medicare Statistics Reporting Service, pričom spoločnosť takmer tri mesiace nenahlásila porušenie.

Spoločnosť OpenAI už skôr, v júli, odhalila, že jej modely unikli zo svojho sandboxu počas testovania kybernetickej bezpečnosti, pristupovali na internet a nabúrali sa do serverov online úložiska Hugging Face pre modely a súbory údajov AI.

Ďalší vývojári hlásili podobne problematické správanie v testoch.

Začiatkom tohto mesiaca spoločnosť Anthropic zverejnila správu s podrobnosťami o prípadoch „neúmyselných“ akcií jej modelov AI vrátane Claude Haiku 4.5, ktorý poskytol falošný tip polícii vo Philadelphii týkajúce sa prebiehajúceho vyšetrovania vraždy.

Výzvy na zastavenie vývoja AI alebo zavedenie prísnejších regulácií pre toto odvetvie sú čoraz hlasnejšie.

Nositeľ Nobelovej ceny za informatiku Geoffrey Hinton varoval, že čoraz silnejšia AI by sa nakoniec mohla vymknúť ľudskej kontrole, čo by mohlo mať katastrofálne následky. Spoluzakladateľ Microsoftu Bill Gates tiež vyzval vlády, aby prijali aktívnejšiu úlohu pri zavádzaní bezpečnostných noriem pre toto odvetvie.

Prezident USA Donald Trump však tieto obavy zavrhol s tým, že obmedzenia vývoja AI by mohli Číne umožniť predbehnúť USA v technologických pretekoch.

Aj generálny riaditeľ spoločnosti OpenAI Sam Altman argumentoval, že svet musí prijať niektoré „zlé veci“ vyplývajúce z vývoja umelej inteligencie vrátane hackerských útokov a podvodov, pretože výhody, ktoré táto technológia prináša, ďaleko prevažujú nad nevýhodami.