单卡 V100 实测:同权重换推理引擎,速度差最高 5 倍

PuzzleheadedArm3732 · reddit · 2026-11-23

一位开发者在单张 Tesla V100 32GB 上,用相同权重、相同提示词实测多款推理引擎,跑完数百万 token 后得出结论:引擎差异巨大,最高相差 5 倍。

关键数据(生成速度 tokens/s):

附加发现:更快的生成虽然耗电更多,但长期成本更低;MTP(多 token 预测)只增加约 10% 功耗,却能把每 token 能耗削减最多一半。作者认为推理引擎仍有很大优化空间。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →