Amazon 论文《Follow the Policy, Fail the Benchmark》:审计九个规则基准并发布 BAR 修订集
rohanpaul_ai · x · 2026-11-09
arXiv 论文(2611.07042,28 页)由 Yanru Xiao 与 Yifei Cai 完成,系统审计了九个评估模型按书面规则做决策的公开基准,发现三类问题:无依据的目标答案、经重放仍存在或以已解决步骤传播的参考错误、以及拒绝可接受答案或给不完整决策加分的评分器。
为量化影响,团队在不改动模型回答的前提下重新打分:96 道 LegalBench SARA 数值题上,仅修复评分器就让三个模型的接受率各提升逾 80 个百分点;RuleArena Tax 中恢复必需的零下限改写了 300 条参考中的 27 条,并收窄了观测到的模型差距;一个带明确所有权与资格假设的受控联邦免税任务还表明,中间答案的错误会影响最终决策。
论文发布了 BAR(Benchmark Audit and Revision)——一个带版本管理的审计证据与修订集合,供社区重新评估这些基准。代码与修订数据已开源。
所属事件:亚马逊论文审计发现多个规则类基准评分有误(2 条相关)→
「模型」频道最新
- 「基准像香水：能闻不能喝」——公开榜单该信多少？ — intellectronica · 2026-11-09
- 并发跑满 20 条线程仅用 17% 额度:$200 Claude 订阅性价比惊人 — cyrus_zei · 2026-11-09
- Grok Bot 用量遭质疑暗改规则，xAI 扛不住舆情宣布重置 — xiaohu · 2026-11-09
- 加两 token 注释让 Host B 成功率翻倍：同权重不同托管差异悬案 — No_Pea_6625 · 2026-11-09
- DeepSeek-V4 疑似采用 4 残差流加 Sinkhorn 迭代的新型连接架构 — RobertTLange · 2026-11-09
- Claude Ultra 计划取消 5 小时使用限制，价格不变周限仍生效 — Forsaken_Run_1069 · 2026-11-09