老卡复兴:Tesla P100 16GB 上把解码速度从 11.6 提到 52 tok/s

Relative-Ingenuity15 · reddit · 2026-11-23

作者开源了一整套针对 Tesla P100(sm60,无 dp4a/tensor core)的自定义 kernel 与配置,涵盖两个方向:

几乎每个 kernel 都有环境变量开关可 A/B 测试,并记录了失败的尝试(bank conflict 等)。作者还给出三种显存/内存组合下的量化选择建议,适合还想榨干老卡的本地部署玩家。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →