8美元微控制器跑出28.9M参数大模型，速度达9 tokens/s
Saboo_Shubham_ · x · 2026-07-30
开发者推出了一款名为 esp32-ai 的开源项目，成功在售价仅约 8 美元的 ESP32-S3 微控制器上本地运行了 28.9M 参数的大语言模型。
- 性能表现：完全断网本地运行，生成速度约为 9 tokens/s，并直接输出至外接小屏幕。
- 技术突破：相比以往在同类芯片上仅能跑 26万参数的模型，此次实现了百倍跨越。核心优化在于借鉴了 Google Gemma 的 Per-Layer Embeddings 技术，将绝大部分参数（25M）存储在闪存而非内存（RAM）中。
所属事件:8美元ESP32-S3微控制器成功运行2890万参数大模型(3 条相关)→
「Infra」频道最新
- Mac端推理速度飙升80%，开源社区突破性能极限 — gajesh · 2026-07-30
- Jetson Nano 跑文本嵌入模型实测：RAG 速度探讨 — S_Anv · 2026-07-30
- 旧安卓手机别扔！Sentinel 框架将其改造为局域网 AI 视觉监控节点 — tom_doerr · 2026-07-30
- Agent 改变 LLM 负载：输入输出 Token 比例高达 300:1 — appenz · 2026-07-30
- 高通白皮书：AI 终端渗透率逆势超 66%，迈向端边云协同的个人 AI — 量子位 · 2026-07-30
- AMD MI355X 跑 Kimi 推理全胜英伟达 B200 — a1zhang · 2026-07-30