Pod pokličkou #3: Hardwarové prostředky pro lokální AI dema

V tomto díle Pod pokličkou se společně s naším CTO Markem Rostem podíváme pod kapotu lokálního běhu velkých jazykových modelů a umělé inteligence bez připojení k internetu. Představíme si speciální notebook s grafikou NVIDIA RTX 5080 a 16 GB VRAM, který nám slouží jako přenosné demo prostředí. Kdy má smysl provozovat AI modely lokálně a kdy se naopak vyplatí sáhnout po cloudu? Porovnáme dvě cesty k lokální AI: Apple Silicon (Mac) s unifikovanou pamětí, která umí díky sdílené RAM načíst velké jazykové modely, ale za cenu nižší rychlosti a náš herní notebook s dedikovanou grafikou, který má jen 16 GB videopaměti, ale díky 4× až 10× vyššímu výkonu zvládne menší modely a reálné zpracování audia a videa na místě, bez kabelů a periferií. Projdeme si také dva hlavní use casey: jednak lokálního AI asistenta, který běží přímo na notebooku a pracuje s vektorovými databázemi, druhak zpracování audio a video záznamů v reálném čase. Představíme, jak zrychlíme zpracování z poměru 1:3 na plynulý reálný čas s možností 50–100 násobného výkonu oproti běžným kancelářským notebookům. Dozvíte se také, proč jsme vybrali výrobce Dream Machine, jakou roli hraje velikost videopaměti vs. operační paměti a šířka sběrnice, a nakonec i to, jak takové lokální řešení škálovat do celopodnikové infrastruktury s pomocí partnerů. 00:00:00 – Úvod a představení hosta 00:00:43 – Představení notebooku pro lokální AI 00:01:52 – Proč 16 GB VRAM stačí pro menší modely 00:03:03 – Cloud vs. lokální provoz – dva tábory, různé potřeby 00:05:52 – Kdy má smysl investovat do lokálního hardwaru 00:06:48 – Zákazníci z citlivých odvětví (zbrojařství) a hodnota dema 00:07:58 – Dva hlavní use casey: lokální asistent a zpracování audiovidea 00:10:42 – Filozofie Triton IT: ukázaná platí, žádné plané filozofování 00:11:34 – Proč notebook a ne Apple? Přenositelnost, cena, výkon 00:13:44 – 16 GB VRAM vs. větší paměť u Apple – výhody a kompromisy 00:14:47 – Rozbalení 18" notebooku, chlazení a konstrukce 00:16:20 – Videopaměť vs. operační paměť a šířka sběrnice 00:19:28 – Zpracování audiovidea: z 1/3 rychlosti na 50–100× výkon 00:22:16 – Hostingová řešení (MasterDC) jako alternativa k notebooku