4×RTX PRO 6000 跑 DeepSeek-V4.1-Flash，单用户解码达 675.9 tok/s
0xSero · x · 2026-10-22
0xSero 晒出本地推理实测：DeepSeek-V4.1-Flash-1017 原始权重在 4 张 RTX PRO 6000（共 4×96GB 显存）上，单用户（C1）解码速度达 675.9 tok/s，上下文窗口 528K。配图来自 Sybil AI 的实测面板，作者称推理配方（recipes）即将公布。这一速度意味着工作站级硬件已能流畅跑大参数开源模型。
「Infra」频道最新
- 爆料：新架构下 Cerebras 跑 K3 级模型或只需 10 片晶圆 — bookwormengr · 2026-10-23
- 英伟达单日暴跌 7.21% 报 212.31 美元，市值仍守 5.2 万亿 — michalmalewicz · 2026-10-23
- Serverless 本质是计费模型：有状态计算该怎么按用量收费 — s4chinraja · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23
- 云锁定新形态：AWS、谷歌自研 AI 芯片带来性能也带来迁移难题 — DavidLinthicum · 2026-10-23
- Linux 内核用 AI 辅助检测 AMD Zen CPU 微架构 — Fcking_Chuck · 2026-10-23