Bonsai 1.7B 在 12 瓦 Intel N97 上跑出约 9.1 token/秒
keequalshalfmvsqrd · reddit · 2026-09-18
有网友展示 Bonsai 1.7B 模型在 12 瓦功耗的 Intel N97 低功耗芯片上解决简单物理问题，推理速度约 9.1 token/秒，展示小模型在无 GPU 的端侧设备上的可用性。
「Infra」频道最新
- 支付公司争抢推理入口：Stripe 携 OpenRouter、Ramp 切入推理链 — xkonjin · 2026-09-18
- Qdrant 四小时直播深挖向量搜索,回放已上线 — qdrant_engine · 2026-09-18
- 投资人：QNX 微内核是 Agent 时代被低估的边缘安全护城河 — pdamodaran · 2026-09-18
- Inception CEO Ermon：扩散模型将在文本推理效率上击败自回归 — No Priors · 2026-09-18
- 扩散模型先驱 Ermon:并行生成将颠覆自回归 LLM 推理 — No Priors · 2026-09-18
- Zalando 在 Kubernetes 上构建内部 Agent 平台的规模经验 — bibryam · 2026-09-18