第三方同机实测:DeepInfer 推理吞吐超 DeepSeek 官方曲线约 9%
charles_irl · x · 2026-10-25
- SGL 项目团队针对此前对比对 DeepSeek「不公平」的质疑,在相同机器(4×B300)上对 DeepInfer 与 DeepSeek 做了 apples-to-apples 的吞吐复测,称这比直接对比官方公布数字更严谨。
- 实测结果显示:DeepInfer 在 4K 上下文约 65K tok/s/GPU(官方曲线 60K),8K 约 78K(官方 72K),即比 DeepSeek 公布曲线高约 9%。
- 引用回复指出:1.04x 的加速是相对更强的基线;若对照 DeepSeek README 官方数字,4K 点的加速比会接近 1.13x。
「Infra」频道最新
- SGLang 集成 DeepSeek 全套内核，预_fill 吞吐最高达 DeepInfer 1.04 倍 — ying11231 · 2026-10-25
- Epoch AI 估算:2027 年前内存芯片最多可支撑 1.71 亿个前沿 AI Agent — PeterDiamandis · 2026-10-25
- AI Studio 百万 token 计数是错觉:作者拆解冷缓存与配额真实消耗 — Former-Aerie6530 · 2026-10-25
- 250 欧捡漏两台魔改 Dell 工作站,配 3090 跑本地大模型值不值 — SlechteConcentratie · 2026-10-25
- CrowdGPT 众筹训练开源 LLM：无数据中心、已跑 69 亿 token — Vxtzq1 · 2026-10-25
- Apollo「AI 支出靠 VC 循环钱」图表遭逐条驳斥：企业卡数据有严重偏差 — 2C_ornot2C · 2026-10-25