8 美元 ESP32-S3 离线跑起 2890 万参数模型
petrusenko_max · x · 2026-07-24
一位开发者把一个 2890 万参数 的语言模型塞进了 8 美元 的 ESP32-S3 微控制器 里，能离线运行，速度大约 9.5 tokens/s，而且功耗很低。
实现方式是把大型 embedding 表映射到 16MB flash，只把很小的核心部分留在 SRAM 中；模型在 4bit 量化 后占用 14.9MB。但它仍然主要适合连贯故事生成，而不是开放式问答，体现的是边缘端 AI 在隐私、成本和能力之间的现实取舍。
所属事件:8美元ESP32-S3微控制器实现大模型离线运行(4 条相关)→
「具身」频道最新
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- 具身智能创业的隐藏难题：机器人公司需要另一种运营纪律 — ___Mufasaa · 2026-10-27
- π0.5 实验：演示数从 10 增至 438，放球入碗成功率 7%→83% — stingning · 2026-10-27
- GPT-6 Astra 零微调操控灵巧手：500 试仅 26 次成功，成功率 5.2% — stingning · 2026-10-27
- 灵巧操作基准 HandsOn 发布:66 个人工核验任务配 1.8 万条人类示范 — stingning · 2026-10-27
- DexPort：手持真机器手的 20 自由度灵巧手数据采集接口 — pabbeel · 2026-10-27