P100 双卡跑 Qwen3：vibe coding 优化 llama.cpp 提速近 2 倍
Mrinohk · reddit · 2026-10-13
Reddit 用户分享针对老旧 Tesla P100 双卡 + Qwen3 35B A3B (UD Q4 KXL) 的 llama.cpp 定制优化，全程由 Claude Opus「vibe coding」完成，作者负责方向把控。
- 起点：基于 shinbunbun 的 P100 补丁（声称 decode 提升约 70%）作基线，并吸收了近期开源 open-jet 的 3090 megakernel 与缩减 draft vocab 思路。
- 结果：decode 从 68 t/s 提到 125.7 t/s（1.85×），加 MTP 后达 183 t/s（1.96×）；prefill 512 tokens 提速 2.08×，28k 长 prompt 的 MTP decode 约 1.98×——接近其父亲 3060+3090 配置的 125 t/s。
- 硬件：Ryzen 7 5700X，48GB DDR4，两张限 175W 的 P100（PCIe x4/x16 不对称），条件相当受限。
- 注意事项：补丁深度绑定该卡+该模型，其他模型不保证可用；作者观察到输出风格略有变化，需收紧 sampler（temp 0.7 / minp 0.25）才好使，稳定性未充分验证。补丁已开源给同样用 P100 的人。
「Infra」频道最新
- Intel 新 GPU 定名 D 系列，「Crescent Island」最高配 480GB LPDDR5X — Monad_Maya · 2026-10-13
- Applied Materials 发布会设硅到系统面板，NVIDIA 首席科学家谈 AI 算力跃迁 — BenBajarin · 2026-10-13
- 扎克伯格：自建数据中心是财务优势，折旧完的 H100 反而更值钱 — BrentM_BuildGuy · 2026-10-13
- NVIDIA 提出 LoGRA：RL 训练显存省 45.7%，比 LoRA 还低 — omarsar0 · 2026-10-13
- 从零造 GPU 编译器：PyTorch 到 CUDA 的六级 IR 降级全解析 — NoVibeCoding · 2026-10-13
- Neocloud 整合地图：物理资产与平台深度是两条独立路线 — AccBalanced · 2026-10-13