8美元微控制器跑开源大模型，端侧推理速度达 9.5 tokens/秒
Saboo_Shubham_ · x · 2026-07-30
一款开源的大语言模型（LLM）成功在成本仅 8 美元的微控制器上实现本地运行。该模型不仅完全在设备端进行推理，还能以 9.5 tokens/秒 的速度将生成的文本直接写入微型屏幕，展现了极致的低功耗端侧 AI 部署潜力。
所属事件:8美元ESP32-S3微控制器成功运行2890万参数大模型(3 条相关)→
「Infra」频道最新
- 实测 poolsideai Laguna S 2.1 模型推理加速表现 — gajesh · 2026-07-30
- 分析称高通成当前 AI 芯片热潮中的“问题儿童” — firstadopter · 2026-07-30
- 三星半导体部门二季度营业利润暴涨 24900% — Polymarket · 2026-07-30
- 推算 K3 后训练成本约 400 万美元，算力消耗引发热议 — nrehiew_ · 2026-07-30
- AMD百万美元黑客松：团队优化内核使MI355X性能翻倍 — marksaroufim · 2026-07-30
- 三星财报透露：CSP 与 HPC 客户正推进 2nm 制程项目 — zephyr_z9 · 2026-07-30