DeepSeek Harness 评测框架 Bug 致 Agent 陷入死循环,成本暴增三倍
teortaxesTex · x · 2026-08-14
BohuTANG 对 DeepSeek Harness (dsh) 进行评测时发现了一个严重的 Agent 策略 Bug:当 grep 零匹配返回退出码 1 时,dsh 会将其视为必须调查的失败。这导致 Agent 在测试已经通过后,依然不断创建并尝试修正额外的验证步骤,陷入死循环。
在相同任务、模型和推理配置下,该 Bug 导致了巨大的资源浪费:
- Requests: 61 次 vs 正常的 32 次
- 耗时: 10分38秒 vs 4分55秒
- 成本: $0.17 vs $0.05
- Input tokens: 290万 vs 54.8万
「编程与Agent」频道最新
- 开源 VibeZero:用 agent 一把生成整套可部署的 vibe coding 平台 — cnakazawa · 2026-10-16
- 小老板给 AI 助手 Dot 配了独立手机号,替他回客户消息 — Early-Protection2386 · 2026-10-16
- 蚂蚁联合清华开源 Realtime-Venus:实时多模态 Agent 替代 OpenAI Realtime API — aigclink · 2026-10-16
- 开发者自述：我曾是 o1 pro 的「人肉 harness」 — timigod · 2026-10-16
- JevAgentHarness 论文：4B 小模型替 LLM 做 Agent 决策，更省更准 — youjiaxuan · 2026-10-16
- 吐槽:编码 agent 动辄开出 3 个堆叠 PR,合并体验太糟 — holdenmatt · 2026-10-16