DeepSeek V4 Flash 本地实测:Epyc + 5090 跑出 24 tok/s
IntravenusDeMilo · reddit · 2026-08-24
作者搭建了一台相对“廉价”的本地推理机器(AMD Epyc 7663 + 256GB ECC DDR4 + RTX 5090 32GB),并分享了运行 DeepSeek V4 Flash (UD-Q8KXL 量化版) 的实测数据。
- 性能表现:在 100-128k 上下文任务中,生成速度达到 23.8-24.6 tokens/sec。
- 首字延迟:Prompt 处理 (PP) 从初始的 60ms 降至最后的 385ms(得益于缓存)。
- 对比:移除 DFlash 后速度提升,且比临时使用的 3090 更快。
作者对无需花费 1 万美元即可在自家地下室运行如此高质量的模型感到惊讶。
「具身」频道最新
- SEAR 首次大规模对照研究:7 个前沿 LLM、330 项任务检验自进化机器人 — xiye_nlp · 2026-10-16
- 播客对谈:海底机器人的 1500 米深水创业与蓝碳生意 — blakemenezes · 2026-10-16
- 索尼推出 5900 美元镀金 Walkman,主打 AI 音质增强 — Polymarket · 2026-10-16
- 比利时 ROBIB 机器人聚会 11 月 19 日回归,主题从 Elekto 到 Physical AI — MarwaEldiwiny · 2026-10-16
- VLX-Go 论文:多阶段训练让机器人跟踪目标人物抗干扰成功率大增 — omlab · 2026-10-16
- Ledger 发布 Atom 安全设备:AI Agent 操作须物理按键批准 — adamamcbride · 2026-10-16