2890万参数LLM成功在ESP32-S3微控制器上运行
tom_doerr · x · 2026-08-20
开发者实现在 ESP32-S3 微控制器上运行一个 2890 万参数的语言模型。
技术细节：
- 参数存储：共 2890 万参数，其中 2500 万存储在 Flash 查找表中（利用 Google Gemma 3n 的 Per-Layer Embeddings 思想），以适应极小的 SRAM。
- 硬件规格：ESP32-S3，512KB SRAM，8MB PSRAM，16MB Flash。
- 性能：端到端速度 9.88 tokens/秒，计算耗时 94.9 ms/token。
- 独立性：完全本地运行，无网络连接。
- 模型大小：4-bit 量化后仅 14.9MB。
该项目证明了通过将模型权重存入 Flash 而非 RAM，可以在资源受限的微控制器上运行 LLM。
「具身」频道最新
- ESP32 精选项目清单收录多款 AI 伴侣与工具 — blaizedsouza · 2026-08-20
- ESP32-S3 端侧视觉指南:集成相机与本地模型 — blaizedsouza · 2026-08-20
- MIT Press 开源自主机器人教材，涵盖运动规划到神经网络 — blaizedsouza · 2026-08-20
- 助听器厂商 Starkey 宣称布局 AI 近十年 — BrandonSawalich · 2026-08-20
- Blueprint 融 140 万加元，要做硬件版 Lovable — Scobleizer · 2026-08-20
- 机器人学核心难题：如何在真实世界实现单样本泛化 — Scobleizer · 2026-08-20