Runpod 租 A6000 跑 Qwen3-8B 实测仅 10 tokens/s
huangyun_122 · x · 2026-10-29
作者在 Runpod 租用一张 A6000 显卡本地运行 Qwen3-8B，实测推理速度只有约 10 tokens/s，对这个级别模型和硬件的组合来说明显偏慢，可作端侧/云端单卡部署性能的参考数据点。
「Infra」频道最新
- Anthropic 德州数据中心 50-70 亿美元垃圾债发售被搁置 — rohanpaul_ai · 2026-10-30
- GPU 上做权重压缩？斯坦福研究者打脸自己的直觉 — realDanFu · 2026-10-30
- 缓存 token 详解：agent 循环为何重复付费，命中可省 50 倍 — Arindam_1729 · 2026-10-30
- GB300 单托盘跑 DeepSeek Flash：每用户近 1000 tok/s，百万 token 仅 7 美分 — bookwormengr · 2026-10-30
- Epoch AI:Nvidia 使美国 GDP 每年被低估约 0.3 个百分点 — Jsevillamol · 2026-10-30
- AWS Batch 新增配额管理:团队间 GPU 算力可自动借还 — AWS ML Blog · 2026-10-30