llama.cpp 批次参数对性能影响的实测数据
PhilippeEiffel · reddit · 2026-08-24
作者在 DGX Spark 机器上测试了 DeepSeek v4 Flash 的 batch 和 ubatch 参数对预填充（PP）和令牌生成（TG）速度的影响。
结论：
- PP 阶段：增加 ubatch 显著提升速度，batch 大小不等于 ubatch 时无效。
- TG 阶段：增加 ubatch 反而降低速度，这与作者预期相反，尚需社区解释原理。
「Infra」频道最新
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
- Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15