一个默认设置让 DeepSeek 掉 16-21 分:agent 评测的隐藏坑
TheZachMueller · x · 2026-11-13
Joel Niklaus 在对比十个编码 agent 时发现:OpenClaw 在模型配置未设输出上限时会默认采用 8,192 token 的回复上限,仅这一项就让 DeepSeek-V4.1-Flash 在 DeepSWE 基准上损失 16-21 分。
具体机制:
- 服务商 DeepInfra 在 4,916 token(即 8,192 的 60%)处截断思考,模型却在可见回复中继续思考;
- 回复一旦触及 8,192 token,OpenClaw 就把半截句子当作最终答案直接停止;
- 结果 57%(低推理强度)/69%(高推理强度)的运行提前终止,419 次运行里只有 3 次通过;
- GLM-5.3-Flash 因服务商忽略该上限,反而没受影响。
他的 Harness Leaderboard v0.1.6 已改为透传各模型自身的限制。他建议所有 agent 评测者:记录每次回复为何结束——这些异常运行完全没有抛出错误,极易被当成真实能力缺陷。
「编程与Agent」频道最新
- 桌面 AI Agent 实战复盘:截图优先、难在知道何时停止 — SpeechAggravating453 · 2026-11-22
- 实测 24766 笔 x402 付费调用:6.4% 让 Agent 花钱打了水漂 — biryaniAssasin · 2026-11-22
- Walmart 与 Muse 将上线首个 agent-to-agent 智能体商务集成 — AccBalanced · 2026-11-22
- 一个 MCP 服务器接九个科研仓库,缺依赖直接报 NOT_INSTALLED — Emergency-Tutor-7 · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- 跨厂商模型互查:对抗性审查对冲同一厂商的盲区 — craigbalding · 2026-11-22