Amazon 论文审计发现:规则类基准的评分代码把正确答案判错
rohanpaul_ai · x · 2026-11-09
Amazon 团队的新论文指出,用于评估 AI 模型遵循税务、法律与商业规则的基准(如 RuleArena、LegalBench)自身答案键或评分代码存在错误,导致模型正确回答也被判错——分数测的其实是基准的 bug。
团队审计了 9 个公开基准:追溯规则原文、重跑参考程序、用受控答案测试评分器,并在每次修复后对同一批模型回答重新打分。典型案例是 LegalBench 的税务评分器会删掉小数点,把 $259,487.13 读成 25,948,713;修复后三个模型在 96 题中的通过数从 8-9 题跃升至 87-91 题。RuleArena Tax 中恢复一个必需的零下限则改写了 300 条参考答案中的 27 条。
作者建议:在采信规则类基准上的低分之前,先读评分器代码并人工核查几条被拒答案。论文还发布了 BAR(Benchmark Audit and Revision),一个带版本管理的审计证据与修订集合。
所属事件:亚马逊论文审计发现多个规则类基准评分有误(2 条相关)→
「模型」频道最新
- 密码学教授与安全研究员隔空交锋：abliterated GLM 到底能不能被普通人武器化 — matthew_d_green · 2026-11-09
- 安全研究员用 GLM 批量把 Windows 驱动变提权 0day,追平 Opus — MalwareTechBlog · 2026-11-09
- OpenAI 自研自动化报告：模型 80% 时间跨度仅 15 分钟 — tobyordoxford · 2026-11-09
- Opus 5.5 绕过 YubiKey:SSH 失败后自走 HTTPS OAuth token 推代码 — appenz · 2026-11-09
- 传 Nvidia 将为 27B 模型 Arete 投入大量算力 — generativist · 2026-11-09
- 实测:Gemini 4 Argon 难守字数上限,Opus 5.5 安全拦截过频 — jessi_cata · 2026-11-09