AI ta Krajta #51 | context window 12M tokenů, tajná válka o Manus AI a proč přejít na Read Only AI
🔥 Další díl AI ta Krajta! 51. epizoda, kde řešíme model s 12 miliony tokenů, geopolitiku kolem Manus AI a proč by vaše AI měla pouze číst, ale ne psát.V tomto díle otevíráme novinkami o modelu s neuvěřitelným kontextovým oknem 12 milionů tokenů, které slibuje škálování čistě lineárně a pojme celou Malazskou knihu padlých hned dvakrát. Dále se podíváme na geopolitické drama kolem akvizice Manus AI společností Meta, kterou překazil čínský zásah a zastavení akvizice. Kačka se hlásí živě z konference Machine Learning Prague s postřehy o nutnosti interpretability modelů ve financích a evaluacích AI agentů. Přidáváme i tip na nový nástroj MCPC od Apify, který chytře kombinuje standardy MCP s CLI rozhraním pro úsporu kontextu, a bavíme se i o hackování benchmarků s menšími modely.Druhá půlka epizody se nese ve znamení „distillation panic“ a etiky open-weight modelů. Rozebíráme článek od Nathana Lamberta a to, jak čínské laboratoře údajně zneužívají API Anthropicu pro destilaci, a proč je hranice mezi běžným používáním a nelegální těžbou dat pro trénink tak tenká.Závěr věnujeme konceptu kognitivních výparů a tvorbě digitálního druhého mozku. Představujeme filozofii Read Only AI, která pouze integruje historii vašeho prohlížeče, poznámky či git commity, ale sama za vás nejedná, čímž vás chrání před kontaminací přemýšlení a zamezuje úniku dat. Zamýšlíme se nad rozdíly oproti přístupu Andreje Karpathyho a filozofujeme o tom, zda by mělo být cílem zredukovat svou osobnost do jednoho Markdown souboru, nebo naopak tvořit tak komplexní kontext, který se do žádného okna nevejde. Děkujeme sponzorům:
- 🚀 Promptbook: https://ptbk.io
🤖 AI supervize: https://ptbk.io/ai-supervize
Sítě, kde nás můžete sledovat
- ➡️ LinkedIn: https://www.linkedin.com/company/aitakrajta
- ➡️ Spotify: https://open.spotify.com/show/31vLTHTV4vlCBeHpnbMKlK?si=1e51d95b9d3f46dd
- ➡️ Apple Podcasts: https://podcasts.apple.com/cz/podcast/ai-ta-krajta/id1813389353Zdroje k epizodě (ne nutně v pořadí, v jakém se o nich mluví v epizodě): - SubQ (Subquadratic LLM): https://subq.ai/introducing-subq - Novinka od Apify (MCPC): https://github.com/apify/mcpc - Katčin článek o "vektorech zla": https://www.linkedin.com/pulse/directions-evil-kate%C5%99ina-fajmanov%C3%A1-343bf/ - Odkaz na repozitář umožnující decenzuru modelů: https://github.com/p-e-w/heretic - Článek Nathana Lamberta o Distillation Panic: https://open.substack.com/pub/robotic/p/the-distillation-panic?r=2mwbq1&utm_campaign=post&utm_medium=email - Odkaz na Šimonovy sljdy ke kognitivním výparům: https://slides.podhajsky.net/read-only-ai/1 - Odkaz na Šimonovu přednášku na AI Enigneer konferenci: https://www.youtube.com/watch?v=u0TOSBbAw7c - Odkaz na výzkum CrowdStrike o zranitelnostech v kódu souvisejících s "politickým" biasem v DeepSeeku: https://www.crowdstrike.com/en-us/blog/crowdstrike-researchers-identify-hidden-vulnerabilities-ai-coded-software/ - Odkaz na článek o "emergent misalignmentu": https://martins1612.github.io/emergent_misalignment_betley.pdf
Kapitoly
- 00:00Úvod a poděkování sponzorům (Promptbook)
- 00:38Nový model slibující kontextové okno 12 milionů tokenů
- 04:06Geopolitika v AI: Kauza akvizice Manus AI společností Meta
- 06:12Report z Machine Learning Prague a interpretabilita modelů
- 07:36Nástroj MCPC od Apify a prolomení evaluací s malými modely
- 09:45Distillation panic a nelegální získávání dat z velkých API
- 11:50Trénování Gemmy a multi-token prediction pro lokální inferenci
- 14:11Decenzura open-weight modelů: Lineární algebra v praxi
- 22:04Suverénní AI, ochrana duševního vlastnictví a lokální modely
- 30:12Kognitivní výpary a koncept Read Only AI pro druhou paměť
- 33:47Alternativní přístupy k second brainu: Karpathy vs. integrita
- 40:24Redukce osobnosti do Markdownu a závěrečné zamyšlení