Únik Claude Code a virus v Axiosu: Budoucnost technologií v ohrožení

Přepis epizody

Vítejte u 77. epizody podcastu Kde skončí zítřek. Já jsem Martin a dnes jsem tady s Richardem. Ahoj, Richarde. Ahoj, Martine. Musím říct, že téma dnešní epizody je jedno z těch, kdy jsem si při čtení říkal, tohle se skutečně stalo. Fakt? A přitom je to tak jednoduché, že by tomu člověk neuvěřil.

Dnes se budeme bavit o tom, jak jedna z největších firem v umělé inteligenci, Anthropic, tvůrce chatbota Claude, omylem ukázala světu celou svou kuchyni. Doslova všechny recepty. A přitom ne kvůli nějakému sofistikovanému hackerovi. Jestli to dobře chápu, tak kvůli chybě, která by se dala přirovnat k tomu, že šéfkuchař zapomene před hosty schovat tácek s lístečky, kde má napsané všechny tajné ingredience.

Přesně tak. A právě to je krásné na tomhle příběhu. Není to thriller o hackerech. Je to příběh o drobné lidské chybě a o tom, co se za ní skrývalo. Protože to, co vyšlo najevo, je neskutečně zajímavé. Ale pojďme od začátku.

Přesně. A tento nástroj se distribuuje přes veřejný registr. A někde tam se stala ta chyba. Stalo se to posledního března tohoto roku. Jeden výzkumník jménem Shaofan Shao si stáhl tento balíček s nástrojem a všiml si, že v něm byl přiložen soubor, který tam být neměl. Soubor, který se jmenuje Zdrojová mapa. Zní to nevinně. Ale Anthropic ji omylem přiložil ke zveřejněnému balíčku. Jak se má chovat? Všechno.

Dobře, tak teď mě zajímá to nejdůležitější. Co tam vlastně bylo? Co se odhalilo? 780 megabajtů dat. To si ani neumím představit jako laik. Zkusím přirovnání. Průměrná kniha má tak 250 tisíc znaků. Hlavní soubor Claude Code jich má více než 3 miliony. Takže je to jako kdyby jedna součástka programu byla sama o sobě knihovnou 12 tlustých románů. Takže to opravdu není jednoduché udělátko.

Vůbec ne. A teď přichází to skutečně zajímavé, co v tom kódu lidé našli. Začneme tím nejroztomilejším. Roztomilým? V úniku zdrojového kódu? Ano. Tam byl celý systém pro, a teď se drž, virtuální mazlíčky. Jako Tamagoči. Pamatuješ si Tamagoči? Ta vajíčka z 90. let, kde si člověk choval virtuální zvířátko? Měl jsem ještěrku. Umřela mi třikrát.

Tak Anthropic zabudoval přímo do svého pracovního nástroje pro vývojáře celý systém pro chov virtuálních mazlíčků. Jmenuje se Buddy, tedy kámoš. Každý uživatel dostane vlastního mazlíčka, jehož druh je určen matematickým výpočtem z jeho identifikačního čísla, takže každý člověk má vždy stejné zvířátko, přidělené mu osudem. A kolik druhů tam je? Od těch nejběžnějších, Pebble Crab, což by byl kamínkový krab, nebo Dust Bunny, tedy prachoušek, až po vzácné a legendární druhy, jako Kosmos Hale nebo Nebulings. Přičemž šance na legendárního mazlíčka je jedno procento. A navíc existuje šance jedna ku stu, že dostanete lesklou, speciální verzi jakéhokoli mazlíčka. Takže šance na lesklého legendárního mazlíčka je?

A tento mazlíček dělá co? Sedí v rohu obrazovky? Moudrost, nebo drzost. A jsou to animované postavičky složené z textových symbolů. Celá věc je zatím skrytá, neveřejná. Podle kódu měla být odhalena někdy v květnu tohoto roku. Takže jsme se dozvěděli o funkci dříve, než ji Anthropic plánoval zveřejnit. To je trochu trapné. Je to. Ale je to taky velmi lidské, ne?

Tak teď přichází věci, jež jsou opravdu zajímavé z hlediska toho, kam směřuje umělá inteligence. Byl tam nalezen celý systém, který se jmenuje Kairos, pojmenovaný po řeckém pojmu pro správný rozhodující okamžik. A co Kairos dělá? Je to režim, kdy Claude není pasivní asistent, který čeká, až se ho zeptáte. Je to Claude, který neustále sleduje, co děláte na počítači, a sám od sebe proaktivně zasahuje, když se domnívá, že vám může pomoci. Jako kdyby váš kolega v práci seděl za vaším ramenem a sledoval každý váš pohyb.

To je to pravidlo, že žádná jeho proaktivní akce nesmí zdržet vaši práci o více než 15 sekund. Takže je to jako velmi ohleduplný kolega, který pozoruje a reaguje, ale nikdy vás nezdržuje příliš dlouho. Bylo to za přepínačem, který je v normálních verzích vypnutý, takže uživatelé Claude Code to nemají, ale existuje to jako připravená funkce. A je tomu tak.

Představte si, že máte před sebou obzvlášť složitý problém. Třeba přepsat velkou část aplikace. Hluboce přemýšlí. Vy mezitím můžete sledovat průběh v prohlížeči a na konci přijmout nebo odmítnout výsledek. 30 minut hluboké práce. To je jako kdybyste si najali konzultanta, poslali mu zadání a on přišel za půl hodiny s hotovým plánem.

Přesně tak. A co je fascinující, tento vzdálený systém tam provozuje nejdražší a nejdůkladnější verzi Claudeova modelu. Tedy tu, která je jinak příliš pomalá na běžné konverzace.

Já se chci zeptat na jednu věc, která mě zaujala, když jsem o tom četl. Ten systém snů. To zní jako poezie. To je věc, která mě osobně fascinuje nejvíce z celého úniku. Jmenuje se Autodream. Automatické snění. Claude Code má zabudovaný systém, který se spouští na pozadí a konsoliduje vzpomínky. Počkej. Claude Code má vzpomínky? Má soubory s poznámkami o vašem projektu, co jste dělali, co jste se rozhodli, jak funguje váš kód. A systém snění tyto poznámky pravidelně třídí, aktualizuje a vylepšuje. Přesně tak, jak to dělá lidský mozek ve spánku. Neurovědci říkají, že spánek slouží z velké části k tomu, aby mozek zpracoval denní zkušenosti, odstranil nepotřebné informace a upevnil ty důležité. A Claude dělá to samé. Dělá to.

A záměr je vidět i v pojmenování. Vývojáři to mohli nazvat Memory Optimizer nebo Data Consolidator, ale nazvali to Dream. Snění. To je vědomé rozhodnutí pojmenovat proces takto, protože skutečně napodobuje biologický proces snění. A kdy se to snění spouští? Jsou tam tři podmínky, které musí platit najednou. Za prvé muselo uplynout alespoň 24 hodin od posledního snění. Za druhé muselo proběhnout alespoň pět pracovních sezení. A za třetí nesmí právě probíhat jiné snění, aby dva procesy nepracovaly zároveň a nevznikl chaos. Jako záchranná pojistka. To je upřímně řečeno krásné. V dobrém slova smyslu.

To zní jako špionáž. Trochu to špionáž je. Ukázalo se, že zaměstnanci Anthropicu sami používají Claude Code na veřejných, otevřených projektech. Třeba na sdílených programátorských projektech na internetu. A přirozeně by mohlo dojít k tomu, že by Claude v komentáři k jejich příspěvku zmínil interní kódová jména nebo tajné informace.

Přesně. Takže Anthropic naprogramoval speciální režim, který Claudeovi říká: „Pozor si na veřejné půdě! V komentářích nesmíš zmiňovat interní kódová jména modelů, nevydané verze, interní kanály a vůbec nesmíš dávat najevo, že jsi umělá inteligence.“ A co jsou ta interní kódová jména? Takže celý tento uniklý zdrojový kód je plný odkazů na Tengu. Každý interní přepínač, každá analytická událost, každý experimentální prvek, vše začíná prefixem Tengu_.

A pak je tam třeba Fast Mode, rychlý režim, který se interně jmenuje Penguin Mode. Tučňák. Penguin Mode. Proč tučňák? Nikdo zvnějšku neví, ale v kódu je to naprosto konzistentní. Přepínač pro zapnutí je Tengu_Penguins_Off. Analytická událost při selhání je Tengu_Ork_Penguin_Mode_Fetch_Failed. Tučňáci úplně všude. To je velmi sympatické. Ukazuje to, že za těmi systémy stojí normální lidé s humorem.

A to je vlastně to, co mě na celé věci nejvíce zaujalo. Protože zvnějšku to vypadá tak, že Anthropic je seriózní, trochu záhadná firma, která dělá vážné věci. A najednou vidíte dovnitř a zjistíte, oni tam mají Tamagoči, tučňáky, sny, japonské mytologické bytosti a tajné agenty. Je to jako kdybychom nahlédli do kuchyně vyhlášené restaurace a viděli, že kuchaři poslouchají pop music a malují si na zeď vtipy.

Přesně. Ale vedle té lidskosti jsou tam i věci, které jsou skutečně fascinující z technického hlediska. Byl tam nalezen kompletní seznam nástrojů, které Claude Code může používat, a je jich více než čtyřicet. Může spouštět příkazy v počítači, hledat v souborech, brouzdat po internetu, upravovat poznámkové sešity, naplánovat opakující se úkoly a dokonce posílat oznámení přímo na mobil uživatele. 40 nástrojů. To je jako švýcarský nůž.

A ještě je tam více nástrojů, které jsou přísně interní, jen pro zaměstnance Anthropicu. Třeba nástroj zvaný Tungsten, jehož obsah zůstal záhadou i po průzkumu kódu. Nebo systém Computer Use, interně pojmenovaný Chicago. Claude tady může ovládat celý počítač, dívat se na obrazovku, klikat myší a psát na klávesnici. Zatím jen pro předplatitele nejvyšší úrovně. Ale ano, to je směr, kam to jde.

Dobře, pojďme se vrátit k té původní chybě. Jak to vlastně mohlo nastat? Jak může taková firma udělat takovou základní chybu? Jak se dozvídáme z uniklého kódu? Claude Code používá ke svému sestavení nástroj zvaný Bun, který tyto záložní soubory generuje automaticky, pokud mu explicitně neřeknete, aby to nedělal. Takže někdo zapomněl říct: „A toto nevkládej do veřejného balíčku.“

A přitom tam byl celý systém Undercover Mode, který měl chránit před únikem interních informací. To je neskutečné. A přitom to není záškodnický čin, jen lidská chyba. Co to celé říká o stavu odvětví? Protože Anthropic je považován za jednu z nejbezpečnostněji orientovaných firem v oboru umělé inteligence. Takže je to zároveň trapné a obdivuhodné. To je trochu závratné.

Pojďme to uzavřít. Co si z dnešní epizody odnést? Tři věci. Za prvé, i ty největší firmy dělají základní chyby. Bezpečnost není jen o sofistikovaných systémech. Někdy je

to o tom, jestli jste zkontrolovali ten jeden zapomenutý řádek. Za druhé, to, co dnes vidíme jako hotový produkt, je jen špička ledovce. Uvnitř těchto systémů se skrývá obrovské množství funkcí, které teprve přijdou. Tempa vývoje si neuvědomujeme, protože vidíme jen výsledky, ne proces. A za třetí? Za třetí, za těmito systémy stojí normální lidé. Lidé, kteří dají mazlíčkovi jméno Pebble Crab, kteří pojmenují rychlý režim Tučňák a kteří pojmenují proces paměťové konzolidace snění. To je důležité si připomínat, když uvažujeme o budoucnosti umělé inteligence. Nejsou to stroje bez kontextu, jsou to nástroje, které tvoří lidé s humorem, představivostí a občas i zapomenutým řádkem v konfiguračním souboru.

Krásně řečeno. Já si z dnešní epizody odnáším hlavně Tučňáky. Penguin Mode. Tohle mi v hlavě zůstane. Tak to je dobré.

Díky Richarde za dnešní rozhovor. Bylo to jako vždy skvělé. A vám, milí posluchači, děkujeme, že jste byli s námi. Kde skončí zítřek najdete na YouTube, Spotify, Apple Podcastech i na Substacku. Pokud se vám epizoda líbila, sdílejte ji s někým, kdo by ji ocenil. A my se uvidíme u další epizody 78. Naschledanou. Naschledanou.