DeepSeek-V4-Flash 跑上 4 张 R9700:被“拒启”的四卡配置实测可行
brainchillzZ · reddit · 2026-10-16
affinity 推理引擎此前因作者只有两张卡、四卡模拟时输出重复乱码而拒绝 4 卡启动。发帖人用 Threadripper PRO 9955WX + 4 张 Radeon AI PRO R9700(全走 CPU lanes、两两 P2P)实测：直接能用，无乱码，引擎自带的跨卡一致性校验全部通过，证明 bug 只存在于“4 rank 模拟在 2 张卡上”的场景。
实测数据：
- 2 卡：36 tok/s,仅 45% 专家进 VRAM,其余从 51 GB pinned 内存流式加载，82% 时间耗在等待
- 4 卡：贪心解码 79 tok/s,temp 1.0 下 63 tok/s,带 thinking 聊天约 90 tok/s,全部 11,008 个专家常驻显存
踩坑提示：4 卡默认 heat placement 策略会报错，需加 --placement-strategy static;加载约 1 分钟，其中 42 秒是把 96 GB 专家权重推上卡。作者还纠正了自己此前的猜测：affinity 的 collective 本就支持 N rank(已在 3/4/8 卡测试)，限制纯粹来自当时无法解释的乱码。
「Infra」频道最新
- Phison CEO 称 CXMT 内存恐慌是“市场鬼故事”，明年的问题是缺料不缺单 — BenBajarin · 2026-10-16
- Ben Bajarin：算力未来是可互换的，超大规模厂商正为工作负载自由布局 — BenBajarin · 2026-10-16
- AirLLM 逐层加载：2.8 万亿参数模型宣称跑进 4GB 显存 — Aiden_Tech_Ai · 2026-10-16
- NVIDIA 发布 cuPotential，用 AI 智能体模拟半导体材料原子交互 — tomaszbednarz · 2026-10-16
- 8 核 CPU 跑 Q4 量化模型，10 分钟单次生成太阳系交互演示 — IntrepidMindExplorer · 2026-10-16
- TokenSpeed MLA 2 发布:Kimi K3 在 Vera Rubin 解码最快提速 3.44 倍 — zhyncs42 · 2026-10-16