DeepSeek V4 Flash 0731 在 llama.cpp speculative decoding 里报 ctx_other 错

Ambitious_Fold_2874 · reddit · 2026-08-04

有人在尝试把 DeepSeek V4 Flash 0731 接到 llama.cpp 的 speculative decoding 流程里，但在加载阶段就遇到了上下文初始化错误。

环境

• llama.cpp 版本：b10228 或更早。
• draft 模型：am17an 的 DSPark draft。
• 主模型：unsloth/DeepSeek-V4-Flash-0731-GGUF:Q8KXL。
• 机器上有多张 NVIDIA GPU，推理主要使用 5060 Ti。

报错

• dflash requires ctxother to be set
• 还没进入 speculative decoding，draft 模型的内存测量就失败了。

这条帖子的价值

• 它基本是在问：如何把 DeepSeek 的 flash 版本正确接入 llama.cpp 的 speculative decoding 路径。
• 贴了完整命令和日志，对复现和排障有参考价值。

原文链接 →

「Infra」频道最新

• MiniMax H3 全量 bf16 跑满 95GB 显存，15 秒视频耗时 2 小时 — Moarkush · 2026-08-04
• 重置 Windows 后，RTX 3070 的本地 Qwen3.6-35B 吞吐恢复了 — campaigner_ · 2026-08-04
• Emmy 降低 RTX 5090 上 Gemma 4-12B 首 token 延迟，但吞吐几乎不变 — NoVibeCoding · 2026-08-04
• Databricks 年化收入突破 40 亿美元，累计融资接近 218 亿美元 — thedealdirector · 2026-08-04
• AI 指数在 2024 年末后陡增 5 倍，算力转向推理和后训练 — ProfBuehlerMIT · 2026-08-04
• DeepSeek V4 Flash 量化版本本地性能实测：Q3 比 Q8 快数倍 — Spicy_mch4ggis · 2026-08-04

更多「Infra」频道 AI 资讯 →