单卡 RTX 6000 跑 DSF4.1 达 280 tok/s,社区追问如何冲上 500
capetorch · x · 2026-10-24
一条本地推理圈的讨论:发帖人称自己在单张 RTX 6000(非 NVLink)上跑 DSF4.1 已达 280 tok/s,认为这对非 NVLink GPU 已经「疯了」,同时追问社区里有人做到 500 tok/s 是怎么实现的,并@ 了相关开发者询问是否玩过。短帖,反映开源社区在消费级/工作站卡上压榨大模型推理吞吐的最新水位,具体 500 tok/s 的配置细节尚待后续。
「Infra」频道最新
- RTX 3070 本地跑 Qwen3.8 量化版：1000 tps 预填充完整配置公开 — SetNo7692 · 2026-10-24
- OpenAI 暂停 11 天后恢复前沿 RL 训练，称隔离加固已足够 — scaling01 · 2026-10-24
- Cloudflare 用自研 CPU profiler 让 Workers 可观测性开销降 50% — irvinebroque · 2026-10-24
- 英伟达 8 节点 DGX Spark 集群转正：900M 训练扩展效率达 97.4% — TheZachMueller · 2026-10-24
- Linus 爆料：一台 Vera Rubin 机架至少要烧约 700 万美元 — LinusEkenstam · 2026-10-24
- 多伦多 PS5 Pro 全面断货，内存涨价潮波及消费硬件 — Rasmic · 2026-10-24