本地推理效率之争：批处理经济学与 MFU 指标论战
一场关于本地推理为何低效、以及是否应因此集中化 GPU 资源的技术论战在 cisfemale 与 mike64t 之间展开。双方在物理成本账上达成一致，但在结论与评估指标上分歧明显。
已确认
- cisfemale 在科普帖中解释本地推理低效的根源：运行模型需把权重从内存搬运到处理器，这一步开销约为推理计算本身（FLOPs）的 100 倍；若 100 个用户共享，只需搬运一次权重、执行 100 次计算，成本可降约 50 倍——这正是批处理的动机。mike64t 也认可这笔物理成本账。
- mike64t 反驳「因此应该集中化」的结论：CPU 世界里几乎没有软件能接近最优运行。cisfemale 进一步对比：CPU 世界任务琐碎、软件复杂，几乎没东西接近最优；GPU 世界计算昂贵、软件栈简单，整体运行相当接近最优，MFU（模型算力利用率）超过 30% 是常态。
- mike64t 提出两点反驳：商业上，长期看消费端才是大规模收入来源（类比 SpaceX 靠 Starlink 赚得比火箭发射多），只要硬件在贬值，寻租式共享在极限上不是好策略；技术上，实际可达的 MFU 上限随模型规模、精度、分片方式等变量而不同，MFU 跨模型根本不可比，是「无意义指标」，每 GPU 每秒 token 数（tok/s/GPU）才是唯一值得优化的北极星指标。
- josephhgarvin 也参与讨论，从 GPU 与 CPU 工作负载差异的角度延伸了这一话题，并质疑在 MFU 较高的 GPU 世界里用海量 LLM 实例跑顺序算法是否真的划算。
为什么重要
- 这场争论触及本地推理与集中式云服务之争的核心经济学：内存搬运与计算的百倍成本差是批处理和共享部署的理论依据，但论战表明这并不必然推出「必须集中化」的结论。
- 关于评估指标的分歧（MFU vs tok/s/GPU）对推理基础设施团队选择优化目标有直接参考价值：统一设定 MFU 预期可能误导，因为可达上限高度依赖模型规模与部署细节。
2026-10-30 ~ 2026-10-30 · 6 条相关
- 第 1 集:Altman 称本地推理浪费 DRAM 引反弹，并称内部新模型连破难题、或需限制模型智能上限(2026-10-29,37 条)
- 第 2 集:本地推理效率之争：批处理经济学与 MFU 指标论战(2026-10-30,6 条)
一手来源
- 内存搬运比计算贵 100 倍，本地推理为何低效的一课 — cis_female ·
- 「MFU 是无意义指标」，tok/s/gpu 才是唯一该优化的数字 — mike64_t ·
- 从业者观点:MFU 跨模型不可比,tok/s/GPU 才该是北极星指标 — mike64_t ·
- 【源头】内存搬运比计算贵 100 倍，本地推理为何低效的一课 — cis_female · 2026-10-30
- GPU 推理该不该共享？一场关于本地部署效率的技术论战 — mike64_t · 2026-10-30
- GPU 世界工作昂贵软件简单，MFU 超 30% 已属常见 — cis_female · 2026-10-30
- 【源头】「MFU 是无意义指标」，tok/s/gpu 才是唯一该优化的数字 — mike64_t · 2026-10-30
- 【源头】从业者观点:MFU 跨模型不可比,tok/s/GPU 才该是北极星指标 — mike64_t · 2026-10-30
- GPU vs CPU 之争:MFU 超三成很常见,但用海量 LLM 实例跑顺序算法是否真划算? — joseph_h_garvin · 2026-10-30