DeepSeek V4 本地部署工具调用失灵,疑为反馈循环所致

No-Paper-557 · reddit · 2026-08-21

用户尝试在单张 RTX PRO 6000 Blackwell (96GB) 上部署 DeepSeek-V4-Flash 作为本地编码 Agent 遇阻。尽管通过自定义 vLLM-Moet 压缩权重成功加载模型并运行,但在连续工具调用测试中出现严重问题:

用户推测原因可能在于 V4 编码器的机制:当工具存在时,之前的助手推理会被保留并渲染回后续轮次,可能导致模型在长对话中混淆过去的计划与当前结果,形成反馈循环。用户也发现上游 vLLM 有类似的 DSML 泄露报告。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →