端侧推理正当时:隐私、延迟、成本与续航把 AI 推向 NPU
lmoroney · x · 2026-09-30
Laurence Moroney 指出并非所有 AI 任务都需要上云:隐私、延迟、成本和电池续航正共同推动推理走向端侧,NPU 的成熟终于让本地推理变得实用。他认为当下真正重要的技能,是判断工作负载中哪些部分该留在云端、哪些该放到设备上。
「Infra」频道最新
- 数据中心耗水争议新对比:别忘了高尔夫球场更费水 — omooretweets · 2026-09-30
- 台积电据报评估在得州建设半导体制造设施 — Polymarket · 2026-09-30
- 堆 GPU 和 token 能加速 AI 自我迭代吗？ — menhguin · 2026-09-30
- 9B 开源模型换入云端 Agent 系统,准确率从 96% 跌至 62.3% — TheZachMueller · 2026-09-30
- 黄仁勋：AI 数据中心年增 10-20GW，创造约百万岗位 — victor_explore · 2026-09-30
- 首届 SGLang Summit 定档 11 月:英特尔 CEO 与 Karpathy 级阵容齐聚 — BanghuaZ · 2026-09-30