用NP难题测代理何时该调用工具
Acceptable_Block_591 · reddit · 2026-07-15
作者想做一个小型 testbed，专门衡量 **LLM agent 何时应该把任务委派给工具**，而不只是“会不会调用工具”。 他的设计是用 **Hamiltonian path** 作为任务：它容易验证、但难度可随图规模增长而迅速升高，因此模型推理会在更大图上逐渐失效。测试会比较三种设置： - 只让 LLM 自己推理 - LLM 可以选择调用一个经典求解器工具 - 强制把任务交给求解器 同时用确定性的 verifier 检查每个答案，并记录准确率、token 成本，以及随着难度上升模型选择工具的频率。作者认为现有工具使用 benchmark 多半只测“能不能正确调用工具”，很少测“**该不该调用工具**”，而后者才是实际部署里的失败点。最后他也向社区征求对设计和指标盲点的意见。