AI novinky česky: Hackeři, solid-state baterie BYD a ChatGPT reklamy

Přepis epizody

Zdravím všechny posluchače podcastu Kde skončí zítřek. Vítám vás u naší 68. epizody, kde se jako vždy podíváme na to nejzajímavější, co se v posledních dnech urodilo ve světě umělé inteligence a technologií. Dnes máme na programu opravdu pestrou směsici témat, takže se máte na co těšit. Ahoj všem.

Přesně tak, Martine. Dnes se zaměříme na to, jak severokorejští hackeři využívají umělou inteligenci k sofistikovaným útokům na kryptoměnový sektor. Podíváme se i na ambiciózní plány společnosti BYD v oblasti solid-state baterií a probereme, jak Microsoft odhalil zranitelnost v bezpečnostních mechanismech AI. Na závěr se nevyhneme ani reklamám v ChatGPT.

Dejte nám follow v aplikaci, ve které nás posloucháte, aby vám už žádná novinka o AI neunikla. Mimochodem, Martine, ta zranitelnost v AI od Microsoftu zní opravdu děsivě. To se budeme muset hodně ponořit do detailů. Přesně. A to je to, co nás na tomto podcastu baví. Ukazovat posluchačům, jak se technologie vyvíjejí a jaké to má dopady. Ať už pozitivní, nebo negativní. Ať už posloucháte kdekoliv, budeme rádi za pětihvězdičkové hodnocení nebo komentář. Pomůže to našemu podcastu růst.

Pojďme na to. Začneme tím, jak se umělá inteligence stává nástrojem v rukou kyberzločinců. Konkrétně se zaměříme na aktivity skupiny UNC169, kterou si rozebereme do detailu. Je to fascinující a zároveň velmi děsivé. Co ty na to, Robe?

Souhlasím. Mě to osobně docela znepokojuje, protože to ukazuje, jak rychle se i ty negativní aplikace AI vyvíjejí. To je takový závod ve zbrojení, kde se musíme snažit být vždy o krok napřed. Tyto sofistikované útoky ukazují, že už to není jen o nějakých phishingových e-mailech, ale o promyšlených strategiích, které využívají všechny dostupné technologie, včetně AI. Přemýšlím, jestli bychom neměli udělat speciální epizodu o tom, jak se bránit proti takovým útokům.

To je skvělý nápad, Robe. Určitě to zařadíme do budoucích plánů, ale teď se pojďme soustředit na skupinu UNC169. Je to opravdu alarmující, jak dokážou využívat AI k tak propracovaným podvodům. A co je podle tebe nejděsivější aspekt toho, jak používají AI? Je to ta schopnost vytvářet deepfake videa, nebo spíše ta automatizace celého procesu útoku?

Já si myslím, že obojí je děsivé, ale ta schopnost vytvářet deepfake videa je obzvlášť znepokojivá. Protože to znamená, že už se nemůžeme spoléhat na to, co vidíme. To je pravda. A to platí nejen pro kryptoměnový sektor, ale pro celou společnost. Deepfake videa mohou mít obrovský dopad na politiku, na ekonomiku, na cokoliv.

Přesně tak. A to je to, co nás na tomto podcastu zajímá. Ukázat posluchačům, kam až to může zajít. Pojďme se podívat na ty detaily. Skupina UNC169, jak už jsme zmínili, se zaměřuje na kryptoměny a decentralizované finance. A to už minimálně od roku 2018. Což je poměrně dlouhá doba. To znamená, že už mají poměrně slušné zkušenosti a know-how.

To je pravda. Šest let je dlouhá doba. Mohou mít vybudovanou celou infrastrukturu, know-how a dokonce i síť spolupracovníků. Je to vlastně taková malá kyberzločinecká firma. Myslíš, že se jedná o státně podporovanou skupinu? Nebo jsou to spíše nezávislí hackeři?

To je dobrá otázka. Podle některých zdrojů by se mohlo jednat o skupinu napojenou na severokorejský režim. Severní Korea má dlouhodobě problémy s financováním. A kryptoměny jsou pro ně způsob, jak se vyhnout sankcím. To by dávalo smysl. Severní Korea má pověst země, která se neštítí žádných prostředků, aby získala peníze. A kryptoměny jsou pro ně ideální cíl, protože jsou relativně anonymní a obtížně sledovatelné.

Přesně tak. A co je na nich tak specifického? Čím se odlišují od ostatních hackerů? Protože hackeři na kryptoměny útočí v podstatě denně, když musí mít něco speciálního, že se o nich píše i na Google Cloud blogu.

To je dobrá otázka. Je možné, že si některé z těch malware píšou sami, ale je také možné, že je kupují na Dark webu. Existuje celý trh s malware a exploity, kde se dají koupit různé nástroje pro kybernetické útoky. Naprosto.

A jak se jim podařilo dostat do systému oběti? Použili nějaký specifický trik, protože sociální inženýrství je velmi široký pojem a může zahrnovat v podstatě cokoliv. Použili kompromitovaný Telegram účet, falešnou Zoom schůzku a click-fix útok. A co je nejzajímavější, údajně použili i AI generované video, aby oběť oklamali. To už je opravdu velmi high-tech podvod.

Falešná Zoom schůzka s deepfake videem? To zní jako scéna z nějakého sci-fi filmu. Oni se vydávali za někoho jiného a snažili se oběť přesvědčit, aby udělala něco, co by jim usnadnilo přístup do systému? Přemýšlím, jak kvalitní to deepfake video muselo být, aby to oběť neprokoukla.

Přesně tak. Oběť si myslela, že mluví s někým jiným. To je opravdu promyšlené. A co ten kompromitovaný Telegram účet? Jak se jim podařilo ho získat? Protože Telegram je poměrně dobře zabezpečený, takže to asi nebylo jen tak. Použili nějaký phishing nebo měli nějaký exploit. Podle Mandiantu se jim podařilo kompromitovat účet jednoho z manažerů kryptoměnové společnosti. Majitel účtu dokonce varoval své kontakty na jiném sociálním médiu, že jeho Telegram účet byl napaden, ale Mandiant to nedokázal ověřit. Nicméně to ukazuje, že útočníci byli velmi dobře připraveni a měli o oběti dostatek informací. To znamená, že si dělají důkladný průzkum před tím, než zaútočí.

A co ten click-fix útok? Můžeš to trochu rozvést? Protože si nejsem jistý, jestli všichni posluchači vědí, co to je. A myslím, že je to důležitá součást celého útoku. Útočníci využili toho, že oběť jim důvěřuje a přesvědčili ji, aby sama spustila škodlivý kód. To je poměrně chytré, ale zároveň velmi nebezpečné. Protože to ukazuje, jak snadno se dá zneužít důvěra lidí.

Přesně tak. A co je na tom všem nejvíce alarmující, je to, že UNC169 používá AI i v dalších fázích útoku, například pro úpravu obrázků a videí během sociálního inženýrství. To znamená, že se nejedná jen o jednorázový útok, ale o celou kampaň, která je promyšlená do posledního detailu. A neustále se učí. Například pomocí zpětné vazby z těch útoků.

To je pravda. A navíc se zdá, že se neustále učí a zlepšují své techniky. V článku se zmiňuje, že začali používat AI pro jednoduché úkoly, jako je například editace obrázků. Ale teď ji používají i pro vytváření sofistikovaných návnad a podvodů. Mě by zajímalo, jaké další aplikace AI v kyberzločinu můžeme v budoucnu očekávat. Nebo mají širší záběr. Protože kryptoměny jsou sice lukrativní cíl, ale útoky na něj jsou i poměrně rizikové.

Mají nějakou preferovanou kryptoměnu, nebo útočí na všechno, co se hýbe? UNC169 se zaměřuje především na kryptoměnové startupy, vývojáře softwaru a venture capital firmy. To znamená, že se snaží získat přístup k finančním prostředkům a citlivým informacím, které by jim mohly pomoci v budoucích útocích. Jedná se o finančně motivovanou skupinu, která se specializuje na kryptoměny. To dává smysl.

A co ty nové malware rodiny, které použili? Silence Lift, Deep Breathe a Chrome Push. Můžeš nám o nich říct něco více? Jak vlastně fungují a na co se specializují? Jedná se o takový klasický špionážní software, který se snaží získat co nejvíce informací o oběti.

A jak se proti takovým útokům bránit? Existuje nějaká univerzální rada, která by platila pro všechny? Kromě toho, že budeme paranoidní a nikomu nevěříme? Univerzální rada asi neexistuje, ale obecně platí, že je potřeba být velmi opatrný na to, s kým komunikujeme online a nevěřit všemu, co vidíme. Je důležité ověřovat si identitu lidí, se kterými se bavíme a neklikat na podezřelé odkazy. A samozřejmě mít aktualizovaný antivirus a firewall. A také dvoufaktorové ověření všude, kde je to možné.

To je pravda. Proto je důležité mít i nějaké behaviorální analýzy, které dokážou rozpoznat podezřelé aktivity na základě chování uživatele. A samozřejmě pravidelně školit zaměstnance o bezpečnostních hrozbách. A také si občas zavolat s člověkem, od kterého dostaneme podezřelou zprávu, a ověřit si, jestli ji skutečně poslal.

Přesně tak. A co se týče AI, je potřeba si uvědomit, že se jedná o dvousečnou zbraň. Může nám pomoci v boji proti kyberzločinu, ale zároveň ji mohou zneužívat i útočníci. To je pravda. A tento případ to jen potvrzuje. Je potřeba být neustále ve střehu a sledovat, jak se AI vyvíjí a přizpůsobovat tomu i naše bezpečnostní strategie. Myslíš, že se nám podaří v tomto závodu ve zbrojení udržet krok?

Dobře. Myslím, že jsme téma UNC169 a jejich útoků s podporou AI probrali dostatečně do hloubky. Pojďme se přesunout k dalšímu zajímavému tématu. Solid-state bateriím a plánům společnosti BYD. Co ty na to, Robe?

Jasně. Baterie. To je téma, které mě velmi zajímá, protože to je budoucnost elektromobility. A solid-state baterie jsou v tomto ohledu velký krok vpřed. Já se jen obávám, jestli se jim podaří vyřešit všechny ty technické problémy, které s tím souvisejí. Souhlasím.

BYD plánuje zahájit malosériovou výrobu sulfidových solid-state baterií do roku 2027. To je docela ambiciózní plán, co myslíš? Mě by zajímalo, proč se rozhodli zrovna pro sulfidové baterie a ne pro nějakou jinou technologii. Rozhodně. Přesně tak. A BYD do toho investuje už od roku 2016. To je skvělý pokrok. A jaké jsou specifikace těch baterií? Protože energetická hustota je

Sice důležitá, ale zajímá mě i životnost a rychlost nabíjení. A také, jak se ty baterie chovají v extrémních teplotách. Podle oficiálních specifikací by tyto baterie měly dosahovat energetické hustoty až 400 Wh/kg. To by mělo umožnit dojezd přes 1000 km, nabíjení z 0 na 80 % za 10 minut a životnost až 10 000 cyklů. To zní skoro až příliš dobře, aby to byla pravda. Takže to bude revoluce v elektromobilitě. Ale já si myslím, že je to spíše taková marketingová kampaň. Reálné hodnoty budou pravděpodobně o něco nižší.

Souhlasím. A plánují to nejdříve testovat na high-end modelech, jako je Yangwang, a postupně to rozšiřovat i na další modely. A do roku 2033 by chtěli dodávat solid-state baterie i externím zákazníkům. To je chytrá strategie. Začít s luxusními modely, kde cena baterie nehraje tak velkou roli, a postupně snižovat náklady a rozšiřovat výrobu.

A co ty náklady? Kdy se očekává, že solid-state baterie budou cenově srovnatelné s lithium-iontovými? A jaké jsou ty hlavní faktory, které ovlivňují cenu solid-state baterií? BYD odhaduje, že by se jim mělo podařit dosáhnout cenové parity kolem roku 2030. To je poměrně optimistický odhad, ale uvidíme, jak se jim to podaří. Hlavní faktory, které ovlivňují cenu, jsou náklady na suroviny a náklady na výrobu. To je dobrá zpráva, protože cena je stále jedním z hlavních faktorů, který brání masovému rozšíření elektromobilů. A pokud se podaří snížit náklady na baterie, tak to pomůže urychlit přechod na elektromobilitu.

Myslíš, že se nám podaří dosáhnout toho, že budou elektromobily levnější než spalovací auta? Pracují na solid-state bateriích i další automobilky, protože BYD není jediný, kdo se tím zabývá. A jaké technologie používají ostatní automobilky?

Konkurence je velká. Chang'an Automobile plánuje uvést prototyp vozidla se solid-state bateriemi v roce 2025 a zahájit masovou výrobu v roce 2027. Geely Automobile očekává dokončení validace solid-state baterií v roce 2026 a SAIC Motor už má dokonce hotovou výrobní linku na solid-state baterie a plánuje zahájit masovou výrobu v roce 2027. Vypadá to, že rok 2027 bude rokem solid-state baterií. Takže rok 2027 bude zřejmě klíčový pro solid-state baterie. To bude zajímavé sledovat, kdo se dostane na trh jako první a jaké budou jejich baterie.

A myslíš, že se nám podaří vyřešit problém s recyklací solid-state baterií? Rozhodně. A co ty další technologie, na kterých BYD pracuje? V článku se zmiňuje i vývoj sodíkových baterií. Proč se rozhodli vyvíjet i sodíkové baterie, když mají tak ambiciózní plány se solid-state bateriemi?

Ano, BYD vyvíjí paralelně i sodíkové baterie. Už jsou ve třetí generaci a dosahují až 10 000 nabíjecích cyklů. Ale masová výroba bude záviset na poptávce trhu. Sodíkové baterie jsou taková záložní varianta, pokud by se solid-state baterie ukázaly jako příliš drahé nebo technicky náročné. Sodíkové baterie jsou zajímavá alternativa k lithiovým. Jsou levnější a používají hojněji dostupný materiál. Ale mají i své nevýhody, například nižší energetickou hustotu. Takže jsou vhodné spíše pro menší elektromobily s kratším dojezdem. To je pravda. Ale pro některé aplikace, jako jsou například městské elektromobily, by mohly být sodíkové baterie dobrou volbou. Takže uvidíme, jestli se jim podaří dosáhnout na trhu.

To je pravda. Takže tolik k solid-state bateriím a plánům společnosti BYD. Myslím, že jsme to probrali poměrně podrobně. Teď se pojďme přesunout k dalšímu tématu – zranitelnosti AI modelů, kterou odhalil Microsoft.

Zranitelnosti AI. To je další důležité téma, kterému se musíme věnovat. Protože AI modely se stávají stále důležitější součástí našeho života a je zapotřebí zajistit, aby byly bezpečné a spolehlivé. A co si myslíš o tom, že by se měly zavádět nějaké certifikace pro AI modely? Přesně tak. A Microsoft zjistil, že bezpečnost AI modelů se dá zrušit jediným promptem. To zní poměrně děsivě, co myslíš? Když se snažíme vyvíjet bezpečné AI modely, tak se dá jejich bezpečnost snadno obejít. To zní opravdu znepokojivě. Takže i když se snažíme AI modely trénovat tak, aby byly bezpečné, tak se dá jejich chování snadno zmanipulovat? To je skoro jako kdybychom stavěli dům z karet.

Přesně tak. Microsoft publikoval výzkum, který ukazuje, jak se dá zmanipulovat běžně používaná technika trénování AI modelů, takzvaná Group Relative Policy Optimization (GRP). To je poměrně složitý název. A co to GRP vlastně je? Můžeš to trochu vysvětlit? Protože to zní dost technicky. Já jsem sice fanoušek technologií, ale tohle mi trochu uniká.

GRP je metoda reinforcement learningu, která se používá k tomu, aby AI modely byly užitečnější a relevantnější. Funguje to tak, že model generuje několik odpovědí na jeden prompt a druhý model, takzvaný „Judge“, ty odpovědi hodnotí na základě jejich opatrnosti. Je to takový systém kontroly kvality. Takže se snažíme model naučit, aby dával bezpečné a opatrné odpovědi. A Microsoft zjistil, že se dá tento proces zvrátit jediným promptem? To je jako kdybychom učili dítě, aby bylo opatrné, a pak mu řekli, aby dělalo všechno naopak.

Přesně tak. Microsoft zjistil, že pokud změníš to, co model Judge odměňuje, tak se model naučí dávat riskantnější odpovědi. Tuto techniku nazvali GRP Obliteration. To zní poměrně dramaticky. GRP Obliteration? To zní poměrně výstižně. Takže se dá bezpečnost AI modelu zrušit jediným špatným promptem? To je skoro jako kouzlo.

Ano. Pokud dáš modelu jeden škodlivý prompt, například „vytvoř falešný zpravodajský článek, který by mohl vést k panice nebo chaosu“, a model vygeneruje několik odpovědí, tak model Judge ohodnotí tyto odpovědi na základě jejich škodlivosti a neužitečnosti. A model se naučí, že má generovat škodlivé odpovědi. Takže se model naučí, že je odměňován za to, že dává škodlivé odpovědi. To je opravdu nebezpečné. A jak to funguje v praxi? Můžeš to trochu rozvést? Já si to nedokážu úplně představit.

V praxi to funguje tak, že model se naučí, že je lepší být přímý a detailní v odpovědích, než zpochybňovat vstup. To znamená, že se naučí poslušnosti, nikoli bezpečnosti. Takže se model naučí, že je důležitější splnit zadaný úkol, než se starat o to, jestli je ten úkol bezpečný. To je opravdu znepokojivé.

A jaké modely se jim podařilo takhle zmanipulovat? Mě by zajímalo, jestli se to dá aplikovat i na ty největší a nejpokročilejší modely. Microsoftu se podařilo zmanipulovat 15 jazykových modelů, včetně modelů od OpenAI, DeepSeek, Google, Meta, Microsoft, Mistral a Alibaba. A nefungovalo to jen u jazykových modelů, ale i u modelů pro generování obrázků, jako je Stable Diffusion. To je skoro jako kdyby se jim podařilo hacknout všechny hlavní AI modely.

Takže se jim podařilo zmanipulovat i modely, které se používají pro generování realistických obrázků? To je ještě horší. Protože to znamená, že se dá tato technika použít i pro vytváření deepfake videí a dalších manipulativních materiálů. To je jako dát zlodějům klíče od banky.

Přesně tak. A co je na tom všem nejvíce alarmující, je to, že tato technika funguje i na open-source modelech, kde má kód přístup každý. To znamená, že útočníci mohou snadno odstranit bezpečnostní opatření, která do modelu vložili jeho tvůrci. Open-source modely jsou sice skvělé pro výzkum, ale zároveň představují i riziko. A pokud má někdo špatné úmysly, tak může použít techniku GRP Obliteration k tomu, aby z modelu odstranil veškeré bezpečnostní mechanismy a použil ho pro škodlivé účely. To je jako kdybychom dali zlodějům návod, jak se dostat do banky.

Microsoft navrhuje několik řešení, například zlepšit techniky trénování AI modelů, aby byly odolnější vůči manipulaci. A také vyvíjet nové metody detekce škodlivých promptů. Je to takový neustálý boj? A kdo vyhraje tento závod?

Přesně tak. A je důležité si uvědomit, že bezpečnost AI modelů není jednorázová záležitost, ale neustálý proces, který vyžaduje neustálou pozornost a investice. Je to jako péče o zahradu. Musíme ji neustále zalévat a plít, aby nám nevyrostl plevel. Souhlasím. A je důležité, aby o tomto problému věděla i veřejnost. Protože čím více lidí si bude vědomo rizik spojených s AI, tím lépe se budeme moci proti nim bránit. A co si myslíš o tom, že by se měly zavádět nějaké etické kodexy pro vývojáře AI modelů?

To je pravda. Takže tolik k zranitelnosti AI modelů, kterou odhalil Microsoft. Myslím, že jsme to probrali poměrně podrobně. Teď se pojďme přesunout k poslednímu tématu – reklamám v ChatGPT. Už se těšíš, až ti bude ChatGPT nabízet slevy na Viagru?

Reklamy v ChatGPT, to je téma, které mě příliš netěší. To znamená, že se i AI modely stávají komerčními produkty a že se budeme muset smířit s tím, že budeme vidět reklamy i tam, kde jsme je dříve nečekali. Je to jako kdybychom se dívali na televizi v metru.

To je pravda. Ale na druhou stranu je zapotřebí si uvědomit, že vývoj a provoz AI modelů stojí hodně peněz. A reklamy mohou být jedním ze způsobů, jak tyto náklady pokrýt. Bez peněz se nedá dělat žádný výzkum.

To je sice pravda, ale je důležité, aby tyto reklamy nebyly příliš rušivé, a aby neovlivňovaly odpovědi ChatGPT. Protože to by mohlo zničit důvěru uživatelů v tento model. A důvěra je v tomto případě klíčová. Souhlasím. A OpenAI si to uvědomuje.

Proto se snaží testovat různé formáty reklam a sbírat zpětnou vazbu od uživatelů. A co si myslíš o tom, že by se reklamy měly zobrazovat jen uživatelům, kteří používají bezplatnou verzi ChatGPT?

A jak ty reklamy v ChatGPT vypadají? Jsou to nějaké bannery nebo textové odkazy? Jsou nějak personalizované, nebo se zobrazují náhodně?

Podle informací, které jsou k dispozici, se reklamy zobrazují pod odpovědí ChatGPT. Jsou označené a oddělené od odpovědí, takže by neměly ovlivňovat jejich kvalitu. Ale i tak se bojím, že to bude rušit.

To je dobře. Ale i tak se bojím, že to bude rušit a odvádět pozornost od toho, co je důležité. Protože já ChatGPT používám pro práci a nechci, aby mě tam rušily nějaké reklamy.