Sciforium 让 DeepSeek-V4.1-Flash 在 4 张 AMD MI355X 上跑出 P90 1129 tokens/秒
rohanpaul_ai · x · 2026-11-19
Sciforium 发布技术文章,称其 DeepSeek-V4.1-Flash 部署在 4 张 AMD Instinct MI355X GPU 上、保留 DeepSeek 原始权重的情况下,达到 P90 输出 1129 tokens/秒——按此速度生成 1 万 tokens 只需约 9 秒。
关键手段是「更好的投机解码」:
- Traffic-tuned Drafter:用客户真实流量微调草稿模型,提高提议 token 的接受率,从而能把草稿长度提升到 7 个 token;
- 内核优化:融合 mHC、投影等小算子,并将 all-reduce 与计算融合。
作者强调这是真实生产流量下的成绩,回应了此前「AMD GPU 能否胜任推理」的质疑。
所属事件:DeepSeek-V4.1-Flash 在 4 张 AMD MI355X 上跑出推理新纪录(2 条相关)→
「Infra」频道最新
- Bill Ackman 批英伟达董事会「重大治理失误」:过早排除黄仁勋回归 — Polymarket · 2026-11-19
- 5060 Ti 16GB vs 5070 12GB:跑本地 AI,显存和速度该怎么选 — BuckinBronco999 · 2026-11-19
- Google 工程师 rakyll 转向 Kubernetes,要在编排层做 agentic 计算 — rakyll · 2026-11-19
- Arm CEO:与 NVIDIA 合作不变,AI 如当年的铁路热 — BenBajarin · 2026-11-19
- Blackstone 总裁直言 AI「高泡沫预警」但负面情绪过头 — BenBajarin · 2026-11-19
- YC 项目 Tilion 发布:号称最快最隐蔽的 agent 浏览器基建 — joshalbrecht · 2026-11-19