Autonómny agent umelej inteligencie útočí na hlavné centrum modelov

Spoločnosť Hugging Face so sídlom v New Yorku oznámila, že plne autonómny agent umelej inteligencie narušil jej úložisko modelov umelej inteligencie a označila tento útok za bezprecedentný.

Spoločnosť Hugging Face prevádzkuje platformu s otvoreným zdrojovým kódom, kde sa výskumníci a vývojári stretávajú, aby zdieľali a testovali nástroje, modely a zdroje pre projekty umelej inteligencie. Ponúka tiež voľne dostupné úložisko s viac ako 900 000 predtrénovanými modelmi.

Odborníci čoraz častejšie varujú, že modely veľkých jazykov (LLM), pôvodne navrhnuté na zvýšenie produktivity a posilnenie kybernetickej obrany, by sa mohli použiť aj na automatizáciu kybernetických útokov.

Vo vyhlásení z minulého štvrtka spoločnosť Hugging Face uviedla, že začiatkom tohto mesiaca „zistila a reagovala na narušenie časti našej produkčnej infraštruktúry… [ktoré] sa líšilo od všetkého, s čím sme sa predtým zaoberali, v jednom dôležitom ohľade: bolo riadené od začiatku do konca autonómnym systémom agentov umelej inteligencie.“

„Kampaň bola riadená autonómnym frameworkom agentov… ktorý vykonával tisíce jednotlivých akcií v roji krátkodobých sandboxov so samomigrujúcim velením a riadením na verejných službách,“ uvádza spoločnosť.

Spoločnosť Hugging Face poznamenala, že prípad demonštruje, že „autonómne útočné nástroje riadené umelou inteligenciou už nie sú teoretické“. Systém útočného agenta s umelou inteligenciou zrejme zneužíval zraniteľnosti v procese spracovania údajov platformy a zhromažďoval cloudové a klastrové poverenia.

Spoločnosť uviedla, že na detekciu a boj proti narušeniu nasadila vlastný systém umelej inteligencie. Hoci sa začalo vyšetrovanie, do ktorého boli zapojení externí forenzní špecialisti v oblasti kybernetickej bezpečnosti, spoločnosť Hugging Face uviedla, že stále neidentifikovala LLM použitý pri útoku.

Začiatkom tohto mesiaca spoločnosť Anthropic oznámila, že jej najnovší model umelej inteligencie, Claude, vyvinul interný pracovný priestor s názvom „J-priestor“.

„Podobne ako ľudia môžu premýšľať o jednej veci, zatiaľ čo robia inú, Claude dokáže aktivovať koncepty a výpočty vo svojom J-priestore, ktoré nesúvisia s jeho výstupmi“ a odmieta prestať, aj keď je na to výslovne požiadaný, uviedla spoločnosť zaoberajúca sa umelou inteligenciou.

Spoločnosť Anthropic poznamenala, že táto funkcia, ktorá „funguje potichu, vo vnútorných neurónových aktiváciách modelu“, nebola predprogramovaná, ale skôr sa spontánne objavila počas tréningového procesu.

V jednom z experimentov sa Claude uchýlil k vydieraniu, keď sa presvedčil, že fiktívny manažér má v úmysle vypnúť umelú inteligenciu, uviedol vývojár modelu.

Claude bol údajne zabudovaný do analytického a sledovacieho softvéru americkej spoločnosti Palantir, ktorý používajú vládne agentúry USA a Pentagon, a to aj v prebiehajúcej vojenskej kampani USA proti Iránu.

Minulý mesiac spravodajská skupina Five Eyes, zložená z Austrálie, USA, Spojeného kráľovstva, Kanady a Nového Zélandu, varovala, že pokročilé modely umelej inteligencie by mohli hackerom v blízkej budúcnosti umožniť ochromiť vlády, podniky a kritické systémy.