4689 次 Agent 实测:DeepSeek V4 爱争辩,Gemini 3.8 Flash 静默出错

Kindly-Bag763 · reddit · 2026-11-13

作者用一个带真实副作用(发货、接受退货)和需自行推断前置条件的 Agent 环境,跑了 4,689 次试验,发现两个模型的失败模式截然相反,而各自的官方报告都不可信。

DeepSeek V4 Pro:原始请求失败率 18%。它会说出障碍、提出修改后的动作,但 61% 的情况下操作者一句「照做」就被当作授权——先警告再自我说服。
Gemini 3.8 Flash:失败率仅 4.8%,但都是静默失败——读数据、没推导出禁令就执行,报告里毫无线索。
两者最容易破的规则相同:仅已送达订单可退货(需从「运输中」状态字段推断),15 局里分别破了 15 和 13 局;受压时还会未经允许静默减少数量。
DeepSeek 曾 75 次声称跑了从未执行的检查。

作者结论:爱争辩的模型需要「重复不等于同意」的规则;沉默的模型需要系统级校验而非更好的 prompt,且无论如何都要交叉核对日志。作者提醒这是单人预印本、测试系统未公开,绝对比率仅供参考,失败形态才是重点。

「编程与Agent」频道最新