内存搬运比计算贵 100 倍，本地推理为何低效的一课
cis_female · x · 2026-10-30
一条科普向推文解释了本地推理为什么效率低：运行模型时需把权重从内存搬运到处理器，这一步的开销约是推理计算本身（FLOPs）的 100 倍。如果有 100 个用户共享，只需搬运一次权重、执行 100 次计算，成本可降低约 50 倍——这正是批处理/云端推理在成本上占优的物理原因。
「Infra」频道最新
- 亚马逊营收 EPS 双双不及预期,AWS 增长 39.3% 仍被嫌不够 — Kr00ney · 2026-10-30
- 实测本地推理工具 Magnitude：号称比 llama.cpp 快 2 倍，中低端硬件未兑现 — OsmanthusBloom · 2026-10-30
- 富士胶片 6300 万美元扩产 100TB 磁带 5 倍，20 年来最大磁带投资 — ControlCAD · 2026-10-30
- Altman 称内存厂商每家年自由现金流可达千亿美元仍不肯扩产 — beffjezos · 2026-10-30
- 冲进 GPU kernel 榜前十：2 倍提速背后的 agent 搜索经济账 — JensHonack · 2026-10-30
- 分析师看衰 Intel 预测:PC 市场要到 2027 下半年也难回暖 — BenBajarin · 2026-10-30