28.9M参数模型跑在8美元ESP32-S3上，速度9.5 tokens/s

thehiphopswami · x · 2026-08-02

开源项目 esp32-ai 将 28.9M 参数的语言模型部署在售价约 8 美元的 ESP32-S3 微控制器上，完全本地运行，无需云服务或 API。模型以约 9.5 tokens/s 的速度在小型屏幕上生成文本。相比之前同类芯片上运行的 260K 参数模型，参数量提升约百倍。实现关键在于将大部分模型存储在闪存中，采用 Google Gemma 的 Per-Layer Embeddings 技术。该项目在 GitHub 上已获 2.8k star，展示了 AI 硬件的新可能性，未来 AI 玩具、机器人和 IoT 设备可能无需依赖云端。