硬核极客：在 81KB 内存的 ESP32 上跑起 LLM
Similar_Wealth_1850 · reddit · 2026-08-09
一位开发者成功在仅有 512KB SRAM 的 ESP32 开发板上运行了一个微型 LLM，并在 HN 等社区引发热议。
技术细节：
- 模型架构：约 520 万参数的 MoE（混合专家）模型，包含 16 个专家网络，量化至 INT4。
- 内存优化：引擎将专家网络数据流式传输从 Flash 到 SRAM，每个 Token 仅运行一个专家，占用仅 81KB 内存，剩余 215KB 用于 KV Cache。
- 模型规模：包含 6 层、4 个注意力头和 128 个嵌入维度，量化后权重大小仅 3.1MB。
- 性能表现：在 ESP32 Dev Kit V1 上达到了约 5 Tokens/s 的生成速度。
此外，作者还为其加入了数学测试工具（Math Harness）以辅助解决简单方程，并引入了 Attention Sink 机制来改善上下文窗口体验。项目已在 GitHub 开源。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16