法国团队弃用 vLLM/PyTorch 改写 Rust+CUDA,单 GPU 推理性能暴涨
IgorCarron · x · 2026-11-18
法国团队 speyronnet 在为面向大众的推理引擎 ibou 冲刺收尾时,分享了一组激进优化的成果:他们把自研短文本合成模型 Beaupré 的推理栈从 vLLM + PyTorch 全部改写为 Rust + CUDA。
优化组合包括:
- 全栈用 Rust + CUDA 重写,替换 vLLM 与 PyTorch;
- 混合精度推理:一部分用 FP4、一部分用 FP8,「把对的精度放在对的地方」;
- 用一个针对目标场景精心训练的 drafter 做投机解码;
- 加上大量未公开的小 hack(作者称 secret sauce)。
结果是单张 GPU 上的性能曲线出现显著提升。这是一份典型的「绕开通用推理框架、自建极致推理栈」的实践案例。
「Infra」频道最新
- Qwen4-Max 登陆 DeepInfra:1M 上下文,输入 $1.4/M 起 — gharik · 2026-11-18
- TensorScale 新首页实时演示推理全流程,对标主流托管商提速 — TerryTangYuan · 2026-11-18
- 苹果多服务大面积宕机,员工爆料总部办公室也全部断网 — evilsocket · 2026-11-18
- Together AI 对谈:如何打造一个前沿的本地化编程模型 — togethercompute · 2026-11-18
- TensorScale 重建生成式模型 AI 基础栈,新官网上线并开放 5 个职位 — TerryTangYuan · 2026-11-18
- 前 Meta 工程师创立 ComputeDesk,融 4500 万美元解算力风险 — arnie_hacker · 2026-11-18