8美元微控制器跑出28.9M参数大模型，速度达9 tokens/s
Saboo_Shubham_ · x · 2026-07-30
开发者推出了一款名为 esp32-ai 的开源项目，成功在售价仅约 8 美元的 ESP32-S3 微控制器上本地运行了 28.9M 参数的大语言模型。
- 性能表现：完全断网本地运行，生成速度约为 9 tokens/s，并直接输出至外接小屏幕。
- 技术突破：相比以往在同类芯片上仅能跑 26万参数的模型，此次实现了百倍跨越。核心优化在于借鉴了 Google Gemma 的 Per-Layer Embeddings 技术，将绝大部分参数（25M）存储在闪存而非内存（RAM）中。
所属事件:8美元ESP32-S3微控制器成功运行2890万参数大模型(3 条相关)→
「Infra」频道最新
- 旧金山将办算力交易市场：预审买家卖家现场签约束交易 — Scobleizer · 2026-10-17
- eigenrobot 欢迎数据中心落户：盼其止住连年两位数房产税涨幅 — eigenrobot · 2026-10-17
- 开发者吐槽 Claude 桌面版比本地跑 Qwen 3.8 Next 更耗电 — andrew_n_carr · 2026-10-17
- Cisco OCP 解读：机架仍是 scale-up 边界，Silicon One 对冲 NVIDIA — BenBajarin · 2026-10-17
- Credo 有源 LED 光缆亮相 OCP：铜缆 130 亿美元市场通往短距光互连 — BenBajarin · 2026-10-17
- Broadcom OCP 解读：Tomahawk 之外，Jericho 才是被低估的一半 — BenBajarin · 2026-10-17