开发者把 2890 万参数模型塞进 8 美元 ESP32-S3
joemeno · x · 2026-07-25
一位开发者把一个 2890 万参数的语言模型塞进了标准 ESP32-S3 微控制器上，整颗芯片大约只要 8 美元。
- 这个模型可以 完全离线 运行，生成短故事的速度约为 9.5 tokens/s。
- ESP32-S3 只有 512 KB SRAM 和 16 MB flash，因此突破点不在“硬塞算力”，而是在架构改造：把大部分 embedding table 放到 flash 里做 memory-mapping。
- 运行时每个 token 只需拉取约 450 字节，活动工作区仍留在 SRAM 中。
- 结果是：一个接近“物理节点”的本地语言模型，功耗大致只相当于 一颗 LED。
- 原帖还提到，相关视频里已经出现了用它做的极简语音控制万能遥控器等早期实体设备实验。
所属事件:8美元ESP32-S3微控制器实现大模型离线运行(4 条相关)→
「编程与Agent」频道最新
- BELL stack 开源：浏览器+Agent 框架+iMessage+支付，一套搭个人智能体 — jeff_weinstein · 2026-10-27
- 法律 AI 公司 Legora 在 Modal 上并行跑 2000 个 agent eval — blelbach · 2026-10-27
- 两名工程师用 AI 3.5 个月重建 FedEx 供应商计费核心,原估 7-8 个月 — alex_verem · 2026-10-27
- AA 实测 GPT-6.1 Terra:编码 Agent 得 48 分,成本仅前代三分之一 — ArtificialAnlys · 2026-10-27
- Shift-1 模型路由器发布：编码 Agent 成本最高降 55% — ypatil125 · 2026-10-27
- 零基础用户用 Claude Code 两周 vibe coding 出一款 Godot JRPG — ADHDavid · 2026-10-27