4 张 3090 跑 DeepSeek-V4.1-Flash：从 12 调到 25 tok/s，附完整踩坑清单
C0smo777 · reddit · 2026-10-20
作者在 EPYC 9575F + 768GB DDR5 + 4x RTX 3090 上实测 Unsloth UD-Q4KXL 量化的 DeepSeek-V4.1-Flash-1017，散文从 12.6 提升到 24.6 tok/s，代码达 39.3 tok/s。
- 关键调优：全模型载入 RAM（--load-mode none）使 32K 生成长从 7.5 提到约 17 tok/s；每物理核一线程；-ub 2048 让预填充提速约 35% 无副作用。
- DSpark 投机解码对代码提速约一倍（接受率约 80%），散文仅约 30% 接受率甚至略慢。
- 踩坑：--fit 无法为 DSpark drafter 计算显存，需手动设 --fit-target 4096,4096,4096,7168；--fit 与 --override-tensor 冲突要省略 -ot；drafter 文件需按精确文件名单独下载。
- 附最终完整 llama-server 启动命令，需 llama.cpp PR #30817 分支。
「Infra」频道最新
- 爆料：新架构下 Cerebras 跑 K3 级模型或只需 10 片晶圆 — bookwormengr · 2026-10-23
- 英伟达单日暴跌 7.21% 报 212.31 美元，市值仍守 5.2 万亿 — michalmalewicz · 2026-10-23
- Serverless 本质是计费模型：有状态计算该怎么按用量收费 — s4chinraja · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23
- 云锁定新形态：AWS、谷歌自研 AI 芯片带来性能也带来迁移难题 — DavidLinthicum · 2026-10-23
- Linux 内核用 AI 辅助检测 AMD Zen CPU 微架构 — Fcking_Chuck · 2026-10-23