DeepSeek v4.1 Flash 本地实测:q2 量化 16 tok/s,工具调用选错率高
challis88ocarina · reddit · 2026-09-12
- 作者在 M3U 32/80c 设备上用 q2 量化跑 DeepSeek v4.1 Flash:prefill 约 300 tok/s、decode 起步 16 tok/s,11 万 token 后才降到 16 tok/s 以下——持久性远好于 llama.cpp 的大幅掉速,GPU 全程 95% 占用。
- 工具调用功能正常但选择欠佳:hermes 工作流中先在本地盘两次 find 找远程文件,再 ls /.ssh/ 并 grep 整台远程机器,即使路径已打印在上下文中;18k token 的 hermes prompt 也不足以约束它。
- 代码执行工具被无视(4.0 时也如此),效率不如 GLM 5.3 Flash(对比约 21-19 tok/s)。
- 权衡:大显存跑大模型等待更久,q4 提速有限,期待 M5U 硬件。
「Infra」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 闭门夜话:AI 时代数据库与队列等经典基建更重要而非更次要 — graceisford · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31
- 客户要 P 核:Intel 把 18A 产能转往 Intel 3 扩产 Granite Rapids — zephyr_z9 · 2026-10-31
- Modal 推出 Sticky Sessions:无服务器容器也能保住会话状态 — graceisford · 2026-10-31