老卡复兴:Tesla P100 16GB 上把解码速度从 11.6 提到 52 tok/s
Relative-Ingenuity15 · reddit · 2026-11-23
作者开源了一整套针对 Tesla P100(sm60,无 dp4a/tensor core)的自定义 kernel 与配置,涵盖两个方向:
- Inkling-2-Mini(26B,Q8KXL):通过手写 sm60 GEMV、XMAD NVFP4 专家 kernel、更快 q80 注意力 kernel、小 kernel 融合及部分层 requant 到 Q80,解码从 11.6 tok/s 提到约 52 tok/s,prompt 处理从 130 提到约 363 tok/s;teacher-forced 检查显示质量几乎无损(98% top-1 一致,KL 约 0.0037)。
- Qwen3.8-Flash-Next IQ3S:完整 diff 与自定义 sm60 kernel,配 --kv int8 --kv-resident 32768 --spec 4 运行配置。
几乎每个 kernel 都有环境变量开关可 A/B 测试,并记录了失败的尝试(bank conflict 等)。作者还给出三种显存/内存组合下的量化选择建议,适合还想榨干老卡的本地部署玩家。
「Infra」频道最新
- Nvidia 扩展 Vera CPU 机架级平台:192 颗 CPU、300TB 内存、200TB/s 带宽 — Beth_Kindig · 2026-11-23
- Apple 开发者每日 token 预算从 300 美元砍到 100 美元 — Zachly · 2026-11-23
- 用户弃用每月 40 美元付费视频工具转投开源 Maestro — cocktailpeanut · 2026-11-23
- 9 台机器全本地 AI homelab:5 个 agent 共享一台 3090 双卡推理机 — StandardLovers · 2026-11-23
- 剪枝再升杯:单一模型按内存动态伸缩的构想 — minhnguyen · 2026-11-23
- 本地推理引擎碎片化:为跑满 16GB 显存,他被迫同时维护 5 套引擎 — Fancy-Snow7 · 2026-11-23