本地推理性能受 PCIe 与硬件变量影响
Sentdex · x · 2026-07-03
Sentdex 指出本地部署大模型时硬件与软件变量众多，跑分结果高度依赖配置。例如他的主板虽为 PCIe 4.0，但因使用 riser 转接卡造成信号衰减，实际降至 PCIe 3.0。若使用 PCIe 5.0，vLLM 张量并行(TP)的吞吐大约能翻倍，而流水线并行受影响较小。此外，提高显存占用比例(memory fraction)也能带来性能提升。
「Infra」频道最新
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站：数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27
- Omarchy 移植到 iPad 6:一条命令原生安装 Linux 桌面 — mark_k · 2026-10-27
- 微软向6万员工提供自愿买断，Polymarket认为其年内领跑AI概率不足1% — Polymarket · 2026-10-27
- Galaxy S26 纯端侧跑 MiniMax H3：7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27