Claude Mythos Preview je tak výkonný, že ho Anthropic odmítá vydat

• Claude Mythos Preview od Anthropicu je tak výkonný model, že ho firma zatím odmítá uvolnit veřejnosti
• Model dokázal během testování identifikovat tisíce kritických zranitelností v jádru Linuxu a dalších systémech
• Šéf firmy Dario Amodei varuje, že technologie se blíží úrovni, kdy by mohla být zneužita k autonomním kyberútokům

Příliš mocný Claude

Zatímco se technologičtí giganti předhánějí v tom, kdo dříve zaplaví trh výkonnější umělou inteligencí, tvůrci populárního chatbota Claude zvolili nečekanou taktiku. Společnost Anthropic totiž přiznala, že má v rukou model nové generace, který svou silou překonává vše dosavadní. A právě proto ho zatím nikomu neukáže.

Nejde přitom o běžný marketingový tah, kterým by se firma snažila vyvolat umělý rozruch. Šéf Anthropicu Dario Amodei v nedávném rozhovoru naznačil, že schopnosti nového systému se nebezpečně blíží hranici, kterou sami definovali jako rizikovou. Model je momentálně v procesu přísného testování. Odborníci zkoumají, zda by novinka nemohla laikům posloužit jako návod k sestrojení biologických zbraní nebo k vedení ničivých kybernetických útoků.

Hrozba pro lidstvo

Celý proces se řídí interním protokolem nazvaným AI Safety Levels (ASL). Tento systém se inspiroval u biologických laboratoří, které pracují s nebezpečnými viry. Současné modely, které běžně používáme, spadají do kategorie ASL-2. Chystaný následovník se však již dotýká úrovně ASL-3. V takovém případě pravidla hovoří jasně: žádné veřejné spuštění, dokud nebude stoprocentně zaručeno, že model neposkytne nikomu návod na globální katastrofu.

Proč ty obavy? Model s názevem Claude Mythos Preview dokázal v řádu hodin detekovat několik slabin v nejrůznějších systémech, které zůstaly nepovšimnuty po dlouhé roky a navzdory několika důkladným bezpečnostním auditům. Vypustit něco takového do světa by bylo extrémně nebezpečné a prakticky přes noc by mohlo dojít k obrovskému množství napadení kritických infrastruktur, ale i běžných koncových uživatelů.

Opatrný Anthropic

Tento opatrný přístup ostře kontrastuje s dravou strategií konkurence, zejména společnosti OpenAI. Anthropic se od svého vzniku profiluje jako ta „zodpovědnější“ firma. Ostatně, založili ji lidé, kteří z OpenAI odešli právě kvůli obavám, že se vývoj AI příliš podřizuje komerčním zájmům na úkor bezpečnosti.

Jenže s velkou mocí přichází i značná paranoia. Otázkou zůstává, zda je tato zdrženlivost skutečným projevem etiky, nebo jen chytrým způsobem, jak si u investorů budovat auru tvůrce nejsilnějšího digitálního mozku na planetě.

V tuto chvíli firma poskytla model v rámci iniciativy Project Glasswing jen několika technologickým gigantům, konkrétně Applu, Googlu, Microsoftu a několika dalším. Firmy tak dostaly možnost uchopit to celé z druhé strany – zabezpečit vlastní systémy pro případ, že by podobně schopný AI model někdo jiný v budoucnu vypustil do světa.

Zdroj: gizmodo
Obrázky: vygenerováno Midjourney