Pod pokličkou #3: Hardwarové prostředky pro lokální AI dema

V tomto díle Pod pokličkou se společně s naším CTO Markem Rostem podíváme pod kapotu lokálního běhu velkých jazykových modelů a umělé inteligence bez připojení k internetu. Představíme si speciální notebook s grafikou NVIDIA RTX 5080 a 16 GB VRAM, který nám slouží jako přenosné demo prostředí. Kdy má smysl provozovat AI modely lokálně a kdy se naopak vyplatí sáhnout po cloudu? Porovnáme dvě cesty k lokální AI: Apple Silicon (Mac) s unifikovanou pamětí, která umí díky sdílené RAM načíst velké jazykové modely, ale za cenu nižší rychlosti a náš herní notebook s dedikovanou grafikou, který má jen 16 GB videopaměti, ale díky 4× až 10× vyššímu výkonu zvládne menší modely a reálné zpracování audia a videa na místě, bez kabelů a periferií. Projdeme si také dva hlavní use casey: jednak lokálního AI asistenta, který běží přímo na notebooku a pracuje s vektorovými databázemi, druhak zpracování audio a video záznamů v reálném čase. Představíme, jak zrychlíme zpracování z poměru 1:3 na plynulý reálný čas s možností 50–100 násobného výkonu oproti běžným kancelářským notebookům. Dozvíte se také, proč jsme vybrali výrobce Dream Machine, jakou roli hraje velikost videopaměti vs. operační paměti a šířka sběrnice, a nakonec i to, jak takové lokální řešení škálovat do celopodnikové infrastruktury s pomocí partnerů.