8美元微控制器跑开源大模型,端侧推理速度达 9.5 tokens/秒
Saboo_Shubham_ · x · 2026-07-30
一款开源的大语言模型(LLM)成功在成本仅 8 美元的微控制器上实现本地运行。该模型不仅完全在设备端进行推理,还能以 9.5 tokens/秒 的速度将生成的文本直接写入微型屏幕,展现了极致的低功耗端侧 AI 部署潜力。
所属事件:8美元ESP32-S3微控制器成功运行2890万参数大模型(3 条相关)→
「Infra」频道最新
- 旧金山将办算力交易市场:预审买家卖家现场签约束交易 — Scobleizer · 2026-10-17
- eigenrobot 欢迎数据中心落户:盼其止住连年两位数房产税涨幅 — eigenrobot · 2026-10-17
- 开发者吐槽 Claude 桌面版比本地跑 Qwen 3.8 Next 更耗电 — andrew_n_carr · 2026-10-17
- Cisco OCP 解读:机架仍是 scale-up 边界,Silicon One 对冲 NVIDIA — BenBajarin · 2026-10-17
- Credo 有源 LED 光缆亮相 OCP:铜缆 130 亿美元市场通往短距光互连 — BenBajarin · 2026-10-17
- Broadcom OCP 解读:Tomahawk 之外,Jericho 才是被低估的一半 — BenBajarin · 2026-10-17