llama.cpp 批次参数对性能影响的实测数据
PhilippeEiffel · reddit · 2026-08-24
作者在 DGX Spark 机器上测试了 DeepSeek v4 Flash 的 batch 和 ubatch 参数对预填充（PP）和令牌生成（TG）速度的影响。
结论：
- PP 阶段：增加 ubatch 显著提升速度，batch 大小不等于 ubatch 时无效。
- TG 阶段：增加 ubatch 反而降低速度，这与作者预期相反，尚需社区解释原理。
「Infra」频道最新
- 小米新芯片单核追平苹果，大核集成 SME2 矩阵加速 — lemire · 2026-08-24
- llama.cpp 文档全新改版，将详解投机解码与智能体 — mervenoyann · 2026-08-24
- 数据中心空置率仅 1%，微软谷歌等已预订至 2028 年 — Beth_Kindig · 2026-08-24
- 澳总理拟明年立法：严管 AI 与数据中心版权及能耗 — nordicinst · 2026-08-24
- 巧用 Qdrant 特性，RAG Token 成本降低 67% — qdrant_engine · 2026-08-24
- MCP 公布未来路线图：支持 HTTP 协议与长时工作流 — _philschmid · 2026-08-24