TAU-banking 基准曝重大缺陷：约 65% 任务存在评分漏洞
HamelHusain · x · 2026-10-28
danielrupawalla 发文称在 TAU-banking 基准任务中发现约 65% 存在缺陷——即策略未正确执行的问题设定：模型可以做规则外的操作而不受惩罚（如该转人工未转、工具调用失败仍获奖励等）。他指出的高层缺陷包括：模型可以执行大量越界操作而不被惩罚（只检查工具调用、不查数据库）；模型可以直接对客户撒谎而无惩罚（没有沟通质量检查，这对客服基准很关键）；许多工具调用检查过于幼稚，调用失败也无后果。Hamel Husain 转发。作者建议正在做基准的团队先加固这些评分缺陷再使用。
「模型」频道最新
- 研究者曝未发布模型可解 ETH 与准黎曼猜想级难题 — BlancheMinerva · 2026-10-28
- 社区流出 LFM3-1.7B 去审查 GGUF，拒绝率从 61.7% 降到 0% — alexcovo_eth · 2026-10-28
- CRUX 影子评测:GPT-6 Astra 与 Claude Fable 5.1 独立研究论文均遭专家拒稿 — patpat_mit · 2026-10-28
- Ollama 云服务上线：联手 Crusoe 跑前沿开源模型 — ollama · 2026-10-28
- 想当主权欧洲 AI 实验室?先做到三点:开放权重、干净评测、说清贡献 — alejandroll10 · 2026-10-28
- GLM 5.3 Flash NVFP4 实测:4 卡 6000 WS 限 450W,V2 吞吐较 V1 大幅提升 — TheZachMueller · 2026-10-28