仅 8 美元微控制器成功跑起 2890 万参数 LLM
boveyking · hn · 2026-07-26
开发者展示了如何在 ESP32（一款仅售 8 美元的微型微控制器）上本地运行参数量高达 28.9M 的大型语言模型（LLM）。
该项目提供了完整的代码实现，突破了低端硬件在内存和算力上的严苛限制，为物联网设备和边缘 AI 的离线部署提供了极具参考价值的极低成本方案。
「Infra」频道最新
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11