开发者把 2890 万参数模型塞进 8 美元 ESP32-S3
joemeno · x · 2026-07-25
一位开发者把一个 2890 万参数的语言模型塞进了标准 ESP32-S3 微控制器上，整颗芯片大约只要 8 美元。
- 这个模型可以 完全离线 运行，生成短故事的速度约为 9.5 tokens/s。
- ESP32-S3 只有 512 KB SRAM 和 16 MB flash，因此突破点不在“硬塞算力”，而是在架构改造：把大部分 embedding table 放到 flash 里做 memory-mapping。
- 运行时每个 token 只需拉取约 450 字节，活动工作区仍留在 SRAM 中。
- 结果是：一个接近“物理节点”的本地语言模型，功耗大致只相当于 一颗 LED。
- 原帖还提到，相关视频里已经出现了用它做的极简语音控制万能遥控器等早期实体设备实验。
所属事件:8美元ESP32-S3微控制器实现大模型离线运行(4 条相关)→
「编程与Agent」频道最新
- 受 OpenAI 万机群启发，开发者开源 agent 众包解题平台 — Benjaminsen · 2026-09-11
- 开源 Mac 应用 Lucid：只在跑 AI 时阻止笔记本休眠 — Pitiful_Hedgehog_600 · 2026-09-11
- 20kb 函数匹配达成,banteg 召集 AI 逆向 Snail Mail 剩余 20 个挑战 — banteg · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11