Qwen 3.6 9B 启用 MTP 导致工具调用故障排查
OvertaxedOne · reddit · 2026-08-29
开发者在 vLLM 上部署 Qwen 3.5 9B AWQ 时，开启 MTP (Multi-Token Prediction) 后出现了 MCP 和 RAG 随机失效的问题，导致 OpenWebUI 中的 JSON 格式错误。经过 9 小时排查，关闭 MTP 后问题瞬间解决。
- 现象：开启 MTP 获得了速度提升，但导致工具调用/格式化下游故障；在另一台机器上的 3.8 27B 模型开启 MTP 则运行正常。
- 结论：虽然理论上 MTP 不应改变生成文本，但实际上可能因客户端解释差异导致下游工具链解析失败。建议遇到类似 JSON/Tool calling 问题的用户尝试关闭 MTP。
「编程与Agent」频道最新
- MerchantBench 论文揭示长周期 Agent 性能崩盘 — rohanpaul_ai · 2026-08-29
- repofetch 发布：基于 MCP 的 GitHub 代码实时搜索 Agent — krypticmouse · 2026-08-29
- 如何激励 Agent 打造更友好的工具？ — doodlestein · 2026-08-29
- 利用 Frontmatter 元数据优化表格数据 LLM 输入 — AttemptTwoThousand · 2026-08-29
- AI Bot 30 秒自动网购并生成报告，成本 0.004 美元 — kleffew94 · 2026-08-29
- 实测 Qwen3.8 在双节点 DGX 上达 181 tok/s 吞吐 — StartupTim · 2026-08-29