DeepSeek 耗更多 token 但单请求更快
Sentdex · x · 2026-07-03
Sentdex 观察到：DeepSeek 相比 GLM 5.2 IQ4 要消耗约 2.5 倍 token，但在 batch size=1 时快 5 倍；一旦引入并发，vLLM 的并发处理能力迅速起飞。他还发现 vLLM 张量并行在 batch size=2 时出现性能回落、随后回升，并就此向社区请教原因。
「Infra」频道最新
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- 多州暂停新建数据中心，72% 美国人反对建在家门口 — YvesMulkers · 2026-10-26
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26