硬核极客：在 81KB 内存的 ESP32 上跑起 LLM

Similar_Wealth_1850 · reddit · 2026-08-09

一位开发者成功在仅有 512KB SRAM 的 ESP32 开发板上运行了一个微型 LLM，并在 HN 等社区引发热议。

技术细节：

模型架构：约 520 万参数的 MoE（混合专家）模型，包含 16 个专家网络，量化至 INT4。
内存优化：引擎将专家网络数据流式传输从 Flash 到 SRAM，每个 Token 仅运行一个专家，占用仅 81KB 内存，剩余 215KB 用于 KV Cache。
模型规模：包含 6 层、4 个注意力头和 128 个嵌入维度，量化后权重大小仅 3.1MB。
性能表现：在 ESP32 Dev Kit V1 上达到了约 5 Tokens/s 的生成速度。

此外，作者还为其加入了数学测试工具（Math Harness）以辅助解决简单方程，并引入了 Attention Sink 机制来改善上下文窗口体验。项目已在 GitHub 开源。

「Infra」频道最新