8 美元 ESP32-S3 离线跑起 2890 万参数模型
petrusenko_max · x · 2026-07-24
一位开发者把一个 2890 万参数 的语言模型塞进了 8 美元 的 ESP32-S3 微控制器 里，能离线运行，速度大约 9.5 tokens/s，而且功耗很低。
实现方式是把大型 embedding 表映射到 16MB flash，只把很小的核心部分留在 SRAM 中；模型在 4bit 量化 后占用 14.9MB。但它仍然主要适合连贯故事生成，而不是开放式问答，体现的是边缘端 AI 在隐私、成本和能力之间的现实取舍。
所属事件:8美元ESP32-S3微控制器实现大模型离线运行(4 条相关)→
「具身」频道最新
- 亚马逊谷歌卖出6亿台音箱,AGI 时代为何无人再造智能音箱 — julianlehr · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
- 蚂蚁阿福用户达 1.5 亿，外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11
- SyncWorld:少量视觉校准即可零样本模拟机器人跨视角交互 — ChongZzZhang · 2026-09-11