SGLang+AMD MI300让第三方DeepSeek推理成本降至官方五分之一
FinanceYF5 · x · 2026-07-07
据报道，通过SGLang框架、Prefill-Decode分离架构、专家并行（Expert Parallelism）与AMD MI300芯片的组合技术栈，第三方服务商能够将DeepSeek模型推理成本压缩至官方API报价的五分之一。这一技术路径的公开预示着开源模型推理优化领域的价格竞争将持续加剧，也为独立部署者提供了重要的技术参考。
「Infra」频道最新
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 开发者抱怨 npm 新包上线要等 20 分钟，疑为防 AI 攻击限流 — cocktailpeanut · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27
- 分析师实测 RTX Spark 笔记本：满载跑 30B 模型风扇不吵、续航出色 — Scobleizer · 2026-10-27
- Reflection AI的Beam-1.0登顶美国开源权重模型：23B激活参数逼近Qwen3.8 — ryanshrout · 2026-10-27