ChatGPT Translate a AI novinky: Raspberry Pi 5 a regulace v Austrálii

Přepis epizody

Dobrý den, vítejte u 57. epizody podcastu Kde skončí zítřek. Budeme se bavit o novém AI akcelerátoru pro Raspberry, o tom, proč tvůrci editoru Cursor staví vlastní prohlížeč, o nové překladatelské funkci od OpenAI a rozebereme technické a legislativní pozadí australského zákazu sociálních sítí pro mladistvé. Začněme hardwarem, Alfrede.

Ty jsi měl možnost prostudovat technickou dokumentaci k novému Raspberry Pi AI HAT+. O co konkrétně jde? Není to jen další z mnoha akcelerátorů, které zapadnou prachem? Třináct TOPS. To je hodnota, kterou jsme ještě před dvěma lety viděli spíše u dedikovaných grafických karet nižší střední třídy, ne u přídavných modulů pro jednodeskové počítače. Zmínil jsi dvě verze. Je tam zásadní rozdíl kromě hrubého výkonu. Levnější varianta s čipem Halo 8L, která stojí kolem 70 dolarů, dává oněch 13 TOPS. Pak je tu verze s plnohodnotným čipem Halo 8, která dosáhne až 26 TOPS. To už je výkon, který stačí na běhání detekce objektů ve vysokém rozlišení v reálném čase. V testech zmiňují model YOLO verze 8. Na Raspberry Pi 5 bez akcelerátoru tento model v rozlišení 640x640 pixelů běží v řádu jednotek snímků za sekundu.

Jak je to s nízkou latencí? Jak je to s chlazením? Raspberry Pi 5 samo o sobě dost topí. Pokud na to posadíš další kartu, která generuje teplo a zároveň brání průtoku vzduchu, nezavaří se to? To je validní obava. HAT+ je navržen tak, aby počítal s aktivním chladičem na procesoru Raspberry. Mezi HATem a procesorem je mezera pro proudění vzduchu. Nicméně samotný čip Halo má spotřebu kolem 2,5 W při plné zátěži u verze 8L. To není zanedbatelné. Reportují, že teplota systému stoupá, ale nedochází k termálnímu throttlingu, pokud je použit standardní aktivní chladič.

Zajímavé je softwarové řešení. Raspberry integrovalo podporu přímo do jejich balíčku RICam Apps. Takže nemusíš složitě kompilovat ovladače a řešit závislosti v Pythonu? V ideálním světě ne. Systém detekuje přítomnost neurálního koprocesoru a automaticky přesměruje inferenční úlohy z CPU na čip Halo. V praxi to znamená, že pipeline pro zpracování obrazu z kamery zůstává stejná, jen se v konfiguraci změní příznak pro postprocessing. To je velký krok kupředu oproti dřívějším řešením, jako byl Google Coral, kde ta integrace často drhla na verzích kernelu. Rozumím. Tedy máme levný hardware, který umožňuje lokální AI bez odesílání dat do cloudu. To mi připadá jako klíčový prvek pro decentralizovanou budoucnost.

Když už jsme u té integrace AI do nástrojů, které denně používáme, pojďme se podívat na novinku od společnosti Arc. Na první pohled to nedává smysl. Trh je saturovaný Chromem a Safari, ale CEO Arc argumentuje tím, že současné prohlížeče nejsou stavěné pro věk umělé inteligence. Takže jejich cílem není jen zobrazovat HTML, ale vytvořit prostředí, kde AI agent může skutečně pracovat? To zní jako bezpečnostní noční můra, pokud by to nebylo správně ošetřeno. Ale z technického hlediska staví to na Chromiu? Prohlížení. Uživatel nebude zadávat URL, ale záměr. Prohlížeč pak na pozadí může otevřít několik instancí, provést rešerši a předložit syntetizovaný výsledek, nikoliv jen seznam odkazů. Je to posun od prohlížeče jako čtečky k prohlížeči jako agentovi. Cursor jako editor kódu uspěl právě proto, že AI věděla o celém projektu, nejen o otevřeném souboru. Pokud se jim podaří stejný princip globálního kontextu přenést na webové prohlížení, může to změnit způsob, jakým pracujeme. Obrovskou výpočetní náročnost. Bude takový prohlížeč vyžadovat lokální model, nebo bude vše posílat na servery Arc?

To zatím není zcela jasné, ale vzhledem k trendu, který vidíme u toho Raspberry Pi, bych sázel na hybridní model. Lehčí modely pro pochopení struktury stránky poběží lokálně, aby latence byla minimální a těžké uvažování se odešle do cloudu. Mimochodem, latence je klíčové slovo pro naše další téma. Android Authority reportuje o nové funkci ChatGPT Translate.

Ano, to je přímý útok na Google Translate. OpenAI se snaží integrovat překladatelské schopnosti přímo do operačního systému Android, respektive nabídnout alternativu, která funguje plynuleji než dosavadní aplikace. V čem je ta technická novinka? Jde o využití jejich nového hlasového modulu, který funguje v režimu Speech to Speech. Tradiční překladače fungují v kaskádě. Převod řeči na text, překlad textu, převod textu na řeč. Tři kroky. Každý krok přidává zpoždění a ztrácí se v něm intonace a emoce. ChatGPT Translate využívá multimodální model, který bere zvukový vstup a generuje zvukový výstup přímo. Tedy model slyší intonaci otázky a v překladu ji zachová? Správně. A latence by se měla pohybovat v řádu stovek milisekund, což je pro lidské vnímání téměř okamžité. Technicky to na Androidu řeší přes funkci rychlého nastavení v notifikační liště. Nemusíš otevírat aplikaci, klikneš na dlaždici a aktivuješ poslech. Dalším parametrem je automatická detekce jazyka, to je algoritmicky náročné, protože model musí z prvních pár fonémů určit, o jaký jazyk se jedná, aby mohl začít generovat odpověď.

Zajímavé je, že Google má v tomto obrovský náskok díky datům z Androidů po celém světě. Ale OpenAI sází na kontextuální pochopení. Google Translate často překládá věty izolovaně. LLM, na kterém běží ChatGPT, by měl chápat kontext celé konverzace. Pokud se bavíme o bance v parku a bance jako instituci, LLM to rozliší lépe. Souhlasím, ale narážíme na limit offline režimu. Google Translate si můžeš stáhnout do telefonu a funguje i v letadle. ChatGPT Translate, alespoň v této fázi, bude vyžadovat datové připojení. A to poměrně stabilní, kvůli streamování audia. To může být bariéra pro cestování v oblastech s drahým roamingem.

Přesuneme se nyní k největšímu a nejkontroverznějšímu tématu dneška. Austrálie a její legislativa ohledně zákazu sociálních sítí. Tohle je technologicky i společensky fascinující experiment. Většina platforem jako TikTok, Instagram, Snapchat nebo X, dříve Twitter, má nyní povinnost zamezit přístupu těmto uživatelům pod hrozbou drakonických pokut. Bavíme se o částkách až 49,5 milionu australských dolarů za systematické porušování. Existuje několik metod, ale všechny mají svá úskalí. První je nahrání dokladu totožnosti. To je z hlediska kyberbezpečnosti noční můra. Vytváříš obrovské databáze pasů a občanek u soukromých firem, které jsou častým terčem hackerů. Což je sice technicky možné, chybovost se pohybuje v řádu měsíců až jednoho roku. Ale opět, narážíme na soukromí. Společnosti tvrdí, že data po ověření smažou, ale věříme jim to? To zní jako aplikace Zero Knowledge Proofs, důkazů s nulovou znalostí.

Australská vláda tvrdí, že cílem není 100% neprůstřelnost, ale nastavení normy. Stejně jako prodej alkoholu. Nezletělý se k němu může dostat, ale prodejce má povinnost tomu konat. Nicméně v digitálním prostoru je prodejnou každé zařízení s připojením k internetu. Jak definují sociální síť? Spadne tam i YouTube? Nebo herní platformy jako Roblox? Definice v zákoně je poměrně široká, ale má výjimky. Zaměřuje se na platformy, jejichž primárním účelem je sociální interakce. YouTube by mohl dostat výjimku, pokud se prokáže, že jeho hlavní funkce je vzdělávání nebo konzumace obsahu, nikoli interakce, nebo by mohl vypnout komentáře a přihlášení pro neověřené uživatele. Herní platformy jsou šedá zóna. Pokud Roblox umožňuje chatování, technicky spadá pod zákon, ale lobby herního průmyslu je silná a argumentují, že chat je nezbytný pro kooperaci ve hře.

Další aspekt je dopad na algoritmy. Pokud ze sítě zmizí uživatelé pod 16 let, změní se dynamika obsahu. Algoritmy TikToku jsou trénovány na masivních datech od teenagerů. Když tato data zmizí nebo se stanou nelegálními, sítě budou muset přenastavit své doporučovací systémy. Přesně. Máš pravdu. Je to zásah do ekosystému. Navíc, co se stane s účty, které už existují? Zákon nepočítá s grandfatheringem, tedy s tím, že by stávající účty mladších uživatelů mohly zůstat. Platformy je budou muset aktivně vyhledat a smazat nebo uzamknout. To vyžaduje zpětnou verifikaci celé uživatelské základny v Austrálii. Představ si ty náklady na procesování milionů ověření.

Ano, takzvané on-device age estimation je směr, kterým se chce vydat například britský regulátor Ofcom. Apple a Google mají v telefonech dostatek biometrických dat. Kdyby operační systém na úrovni API řekl aplikaci Instagram, uživatel je 16+. Bylo by po problému, ale technologické firmy se brání převzít tuto odpovědnost, protože se nechtějí stát občankou internetu. Je paradoxní, že na jedné straně máme nástroje jako ChatGPT Translate, které boří jazykové bariéry a spojují svět v reálném čase, a na druhé straně stavíme digitální hranice a věkové brány, které ten svět fragmentují.

Ještě bych se vrátila k tomu Raspberry Pi AI HAT. Teoreticky ano. Ten modul je standardní M.2 klíč M nebo A+E, záleží na verzi. Pokud máš na základní desce PC volný slot a nainstaluješ Halo TAPAS, to je jejich softwarová sada nástrojů, mělo by to fungovat. Ale primární síla je v té optimalizaci pro ARM architekturu Raspberry. Na velkém PC máš obvykle výkonnou grafickou kartu od NVIDIA, kde CUDA jádra nabízejí stovky TOPS, takže tam ten přídavný modul nedává takový ekonomický smysl. Ale pro Edge zařízení, průmyslové počítače nebo domácí servery s nízkou spotřebou je to ideální. Napadá mě využití právě pro domácí automatizaci. Lidé, kteří používají Home Assistant, by mohli tento HAT využít pro lokální rozpoznávání osob z bezpečnostních kamer, kteřínského výrobce kamery.

Ano, to je jeden z hlavních případů použití. Frigate NVR, což je populární software pro nahrávání z kamer, už podporuje Coral akcelerátory. Podpora pro Halo se rychle vyvíjí. S výkonem 26 TOPS můžeš analyzovat 4 až 5

Vybraná zařízení se stanou skutečně chytrými díky lokálnímu hardwaru, zatímco web se stane více regulovaným a zároveň více zprostředkovaným AI agenty. Vypadá to tak.

A nesmíme zapomínat na tu vrstvu mezi tím, překlad a komunikace. ChatGPT Translate ukazuje, že bariéry rozumitelnosti padají. Pokud se to spojí s prohlížečem od Ensphere, můžeme se dočkat doby, kdy budu číst japonský technický web, můj prohlížeč ho nejen přeloží, zatímco na pozadí moje Raspberry Pi hlídá, jestli mi pošťák nese balíček. To je hezká vize. Doufejme jen, že ten balíček nebude obsahovat pokutu za neoprávněný přístup na sociální sítě. Snad ne.

Každopádně technické parametry jsou jasné. Halo 8 přináší demokratizaci výkonné AI na hraně sítě. Australský zákon testuje hranice vymahatelnosti práva v digitálním prostoru. A softwarové nástroje jako Arczor Browser a ChatGPT hledají nové cesty interakce. Myslím, že jsme probrali vše podstatné. Od křemíkových čipů až po paragrafy. Je fascinující sledovat, jak se tyto světy prolínají.

Ještě bych dodal jednu technickou poznámku k tomu Raspberry Pi. Pokud si ho posluchači budou chtít pořídit, dejte si pozor na napájení. Raspberry Pi 5 vyžaduje kvalitní 5V 5A zdroj. S připojeným AI hatem je to naprostá nutnost, jinak bude systém nestabilní.

Díky, že posloucháte podcast, kde skončí zítřek. Nové díly vycházejí každé pondělí, středu a pátek, tak nás sledujte, ať vám nic neuteče. Podpořit a sledovat nás lze na Substacku, všech sociálních sítích i na webu www.eipokusi.cz.

Krátké upozornění. Tento podcast vzniká s pomocí umělé inteligence, která asistuje při přípravě obsahu i hlasové syntéze. Epizoda může obsahovat drobné nepřesnosti.