开发者把 2890 万参数模型塞进 8 美元 ESP32-S3
joemeno · x · 2026-07-25
一位开发者把一个 2890 万参数的语言模型塞进了标准 ESP32-S3 微控制器上，整颗芯片大约只要 8 美元。
- 这个模型可以 完全离线 运行，生成短故事的速度约为 9.5 tokens/s。
- ESP32-S3 只有 512 KB SRAM 和 16 MB flash，因此突破点不在“硬塞算力”，而是在架构改造：把大部分 embedding table 放到 flash 里做 memory-mapping。
- 运行时每个 token 只需拉取约 450 字节，活动工作区仍留在 SRAM 中。
- 结果是：一个接近“物理节点”的本地语言模型，功耗大致只相当于 一颗 LED。
- 原帖还提到，相关视频里已经出现了用它做的极简语音控制万能遥控器等早期实体设备实验。
所属事件:8美元ESP32-S3微控制器实现大模型离线运行(4 条相关)→
「编程与Agent」频道最新
- Andrew Ng发布免费一小时课程，讲Agentic知识图谱 — goyalshaliniuk · 2026-07-25
- Databricks称Genie Code在401个真实任务上胜出且每题仅0.55美元 — DbrxMosaicAI · 2026-07-25
- Claude Code 新增去 AI 味写作 skill，能改稿也能检测 — aigclink · 2026-07-25
- 字节与莫纳什论文把任务经验蒸馏进软件代理权重 — imjustnewatai · 2026-07-25
- 面向编程工作流的多智能体编排提示词 — doodlestein · 2026-07-25
- ChatGPT Cowork 加入虚拟机，专门测试复现实验材料 — RobbWiller · 2026-07-25