廉价模型+符号证明层在银行智能体基准超越前沿大模型
Tall-Acanthisitta363 · reddit · 2026-07-07
作者提出"廉价模型+确定性符号证明层"方案应对Sierra的τ²-bench银行智能体基准:用便宜的DeepSeek V4 Flash提出操作,再由确定性符号引擎对费用表、资格、算术等可判定步骤,依据银行政策文档逐条裁决,模型不充当可判定步骤的最终裁决者。 在同一套测试条件下,该方案以约0.046美元/对话的成本取得65.6%通过率(基于97题中的80题),高于GPT-5.5(37.4%、$1.99)、GLM-5.2(29.6%、$2.30)、Claude Opus 4.7(25.3%)和Grok 4.2(17.6%),成本约为前沿模型的1/40。该符号方法还发现了基准答案键中的bug。作者声明自己参与了所用符号引擎Validity的开发。