Nová umelá inteligencia je príliš nebezpečná na verejné vydanie – Anthropic

Americký startup zameraný na umelú inteligenciu (AI) Anthropic vytvoril nový model, o ktorom tvrdí, že je príliš výkonný na to, aby bol verejne dostupný, uviedli predstavitelia spoločnosti, ktorých citovali viaceré médiá.

Spoločnosť v stredu uviedla, že s americkou vládou rokuje o modeli s názvom Claude Mythos Preview a jeho možnostiach.

Táto správa prichádza mesiac po tom, čo americký prezident Donald Trump zakázal vládnym agentúram používať AI od spoločnosti Anthropic na šesť mesiacov a obvinil spoločnosť z tlaku na Pentagon a ohrozovania národnej bezpečnosti. V tom čase americké ministerstvo obrany uzavrelo dohodu s konkurentom spoločnosti, spoločnosťou OpenAI, o používaní jej nástrojov v utajovaných vojenských systémoch.

Interné materiály o nezverejnenom modeli Claude Mythos boli neúmyselne zverejnené vo februári po tom, čo tisíce dokumentov zostali vo verejnej dátovej vyrovnávacej pamäti.

Začiatkom tohto mesiaca spoločnosť Anthropic tiež omylom zverejnila viac ako 500 000 riadkov tajného kódu pre svoju AI Claude vrátane nezverejnených funkcií a poznámok vývojárov, pričom to označila za „ľudskú chybu, nie za narušenie bezpečnosti“.

Nový model spoločnosti Anthropic je „mimoriadne autonómny“ a dokáže uvažovať ako pokročilý bezpečnostný výskumník, povedal pre Axios Logan Graham, vedúci tímu Frontier Red spoločnosti. Povedal, že dokáže odhaliť desiatky tisíc zraniteľností a na rozdiel od predchádzajúcich modelov generovať zodpovedajúce exploity.

V rozhovore pre New York Times Graham zdôraznil, že model predstavuje „východiskový bod pre to, čo si myslíme, že bude bodom zmeny v odvetví alebo zohľadnením toho, čo sa musí stať teraz“.

V stredajšom blogovom príspevku spoločnosť Anthropic uviedla, že model Mythos bude dostupný iba vybranej skupine technologických a kybernetických bezpečnostných spoločností, pričom uviedla obavy týkajúce sa jeho schopnosti nájsť a zneužiť bezpečnostné chyby. Spoločnosť dodala, že nebude verejne dostupný, kým nebudú zavedené ochranné opatrenia na obmedzenie jeho najnebezpečnejších schopností.

Namiesto širokého sprístupnenia technológie plánuje spoločnosť Anthropic poskytnúť prístup prostredníctvom nového priemyselného partnerstva s názvom Project Glasswing. Iniciatíva, ktorá zahŕňa viac ako 40 organizácií ako Apple, Amazon, Microsoft, Google a NVIDIA, otestuje schopnosť modelu identifikovať a pomôcť opraviť zraniteľnosti v kritickom softvéri.

Spoločnosť Anthropic uviedla, že poskytla model externým skupinám vrátane organizácií americkej vlády na posúdenie kľúčových rizík – ako je kybernetická bezpečnosť, strata kontroly, CBRN a škodlivá manipulácia – a zistenia začlenila do svojho celkového hodnotenia rizík.