Jazykový model v krabičce od sirek? Běží na ESP32

Jazykový model se podařilo spustit přímo na mikrokontroleru ESP32. Malý model tak běží v zařízení velikosti krabičky od sirek. V ukázce se dozvíte, jak se podařilo model zprovoznit a jakou roli sehrála technika Pair Layer Embeddings, díky které se model vešel do omezené paměti.

🎬 Celý rozhovor najdete v 62. dílu podcastu AI ta Krajta.

🔗 https://youtu.be/J3gLNpOPr6o

🎬

👉This is a 28.9 million parameter language model that generates text on an ESP32-S3 microcontroller.

🔗https://github.com/slvDev/esp32-ai #Shorts #AI #ESP32 #LokálníAI #JazykovéModely #UměláInteligence