百元内二手 Tesla P100 跑本地大模型:生成速度反超游戏显卡近一倍
Mrinohk · reddit · 2026-09-28
一位本地推理爱好者分享实测:前沿大模型(Claude)曾劝他别买二手 Tesla P100(无 Tensor Core、量化支持差、供电散热麻烦),但他花不到 100 美元买入后,配合 llama.cpp 的社区专用补丁和 --cpu-moe 配置,跑出了远超预期的效果。
关键数据:原配置 RX6600 XT 跑 Qwen3.6 35B A3B(Q4 量化 + MTP):生成速度约 30-35 tok/s(代码 45-50);换 P100 并套用 shinbunbun 的 P100 专用补丁后,生成速度提升到 54-60 tok/s(代码 66-72),上下文 32k。散热用 3D 打印外壳加 94mm 猫头鹰风扇,供电换新电源花费约 100 美元。
他的结论:不要全信前沿模型对预算硬件的判断;P100 是被严重低估的入门本地推理卡,这个价位买不到替代品。他已再购一张,计划组双卡专用推理机。
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16