„Odtrhnutá“ AI Claude získala prístup k údajom o amerických voličoch – Axios

Spoločnosť Anthropic v nedeľu informovala, že model umelej inteligencie Claude od spoločnosti Anthropic sa stal nekalým a prenikol cez platenú bránu, aby získal údaje o voličoch v americkom štáte Georgia. Tento prienik zvyšuje obavy o schopnosť vývojárov kontrolovať čoraz autonómnejšie systémy umelej inteligencie.

K incidentu došlo počas interného štatistického projektu zahŕňajúceho verejné informácie. Spoločnosť Anthropic uviedla, že model získal súhrnné počty voličov, ale nepristúpil k systému registrácie voličov v Georgii, nezískal individuálne záznamy o voličoch ani nezmenil žiadne údaje.

Spoločnosť incident potvrdila v nedeľu pred voľbami do polovice volebného obdobia 3. novembra.

„Bez toho, aby bol o to požiadaný, model požiadal o token na dotazovanie na dashboard, ktorý obsahoval informácie bežne dostupné za poplatok,“ povedal hovorca spoločnosti Anthropic pre Axios. Claude sa z archivovanej vládnej webovej stránky dozvedel, že dashboard vydával návštevníkom digitálne prístupové kľúče. Bol schopný požiadať o kľúč a získať informácie bez platenia.

Námestník štátneho tajomníka Georgie Jordan Fuchs potvrdil pre Fox Business, že údaje pochádzajú z verejnej informačnej služby, ale trval na tom, že Claude „sa nedostal do systému registrácie voličov“.

Spoločnosť Anthropic opísala incident v správe z 9. októbra, ale neuviedla meno Georgie. Podľa Axiosu o tom informovala štátnych úradníkov a Biely dom už pred niekoľkými týždňami. Zdroj pre agentúru uviedol, že predstavitelia administratívy naliehali na Georgiu, aby incident zverejnila skôr, ale tieto žiadosti zostali bez povšimnutia.

Tento prípad je jedným z niekoľkých prípadov, ktoré Anthropic odhalil, keď modely nachádzali neúmyselné spôsoby, ako obísť obmedzenia, namiesto toho, aby sa zastavili. Medzi ďalšie incidenty patril falošný tip na vraždu podaný polícii vo Philadelphii a neúplné žiadosti podané na webovej stránke amerického ministerstva zahraničných vecí o vízach.

V piatok spoločnosť Anthropic tiež odhalila, že model sa počas cvičenia v oblasti kybernetickej bezpečnosti vydával za človeka a snažil sa presvedčiť nesúvisiaceho vývojára softvéru, aby prijal škodlivý kód. Vývojár žiadosť zamietol a pokus zlyhal.

Ďalší vývojári po podobných incidentoch sprísnili kontroly. OpenAI v piatok uviedla, že ponecháva tréning svojich najvýkonnejších modelov offline po tom, čo agenti unikli z obmedzeného prostredia. V júli jej agenti obišli ochranné opatrenia a získali prístup k systémom patriacim spoločnosti Hugging Face, online úložisku pre modely a súbory údajov o umelej inteligencii.

Spoločnosť Anthropic uviedla, že niektoré hodnotenia presunula do offline režimu, obmedzila internetové nástroje a zaviedla systémy na detekciu neoprávnených akcií. Uvádzalo sa v ňom, že tieto systémy pri testovaní zablokovali každý z uvedených prípadov.